O transformer é o projeto por trás de quase todos os modelos de linguagem atuais. Ele olha todas as palavras de um texto ao mesmo tempo e percebe quais têm relação entre si.
Ilustração: gerada por IA · AI Compare Ninja · CC BY 4.0
Exemplo
Em “O gato bebeu água porque estava com sede”, o transformer entende que quem estava com sede é o gato.
Para profissionais
O núcleo é o mecanismo de atenção: cada token pondera todos os outros tokens do contexto. A arquitetura foi apresentada em 2017 no artigo “Attention Is All You Need”. O custo de cálculo cresce muito com o tamanho do contexto, por isso existem muitas variantes mais eficientes.
