Atenção é o cálculo que um modelo de linguagem usa para decidir quais outras palavras importam para a palavra atual.
Exemplo
Em “A manga estava rasgada”, o modelo presta atenção em “rasgada” e entende que se trata da manga da camisa, não da fruta.
Para profissionais
Cada token forma vetores de consulta, chave e valor (query, key, value); a semelhança entre eles gera pesos sobre todos os outros tokens. Várias cabeças de atenção trabalham em paralelo. O custo cresce de forma quadrática com o tamanho do contexto, por isso existem variantes mais eficientes.
