Il transformer è lo schema alla base di quasi tutti i modelli linguistici di oggi. Guarda tutte le parole di un testo insieme e capisce quali sono collegate.
Illustrazione: generata con IA · AI Compare Ninja · CC BY 4.0
Esempio
Nella frase «Il gatto ha bevuto perché aveva sete», il transformer capisce che ad avere sete è il gatto.
Per esperti
Il cuore è il meccanismo di attenzione: ogni token pesa tutti gli altri token del contesto. L’architettura è stata presentata nel 2017 nell’articolo «Attention Is All You Need». Il calcolo cresce molto con la lunghezza del contesto, per questo esistono molte varianti più efficienti.
