L’attenzione è il calcolo con cui un modello linguistico decide quali altre parole contano per la parola attuale.
Esempio
In «La pesca era matura», il modello presta attenzione a «matura» e capisce che si tratta del frutto, non dell’attività di pescare.
Per esperti
Ogni token forma vettori di query, chiave e valore; dalla loro somiglianza nascono pesi su tutti gli altri token. Più teste di attenzione lavorano in parallelo. Il costo cresce in modo quadratico con la lunghezza del contesto, per questo esistono varianti più efficienti.
