Um modelo de linguagem pequeno tem relativamente poucos parâmetros e roda também em notebook ou celular.
Exemplo
Um modelo pequeno no celular organiza suas anotações sem que os dados saiam do aparelho.
Para profissionais
Não há um limite fixo. Dependendo da fonte, ele fica entre cerca de 10 e 40 bilhões de parâmetros; o que importa é que o modelo rode em hardware comum. São rápidos, baratos e favoráveis à privacidade, mas mais fracos em conhecimento amplo. Para tarefas de agente bem delimitadas, muitas vezes bastam.
Prompts, skills, agentes e ferramentas relacionados