Attention ist der Rechenschritt, mit dem ein Sprachmodell entscheidet, welche anderen Wörter für das aktuelle Wort wichtig sind.
Beispiel
Bei „Die Bank am See war nass“ achtet das Modell auf „See“ und versteht: Gemeint ist eine Sitzbank, kein Geldinstitut.
Für Profis
Jeder Token bildet Abfrage-, Schlüssel- und Wertvektoren (Query, Key, Value); aus deren Ähnlichkeit entstehen Gewichte für alle anderen Token. Mehrere Attention-Köpfe arbeiten parallel. Der Aufwand wächst quadratisch mit der Kontextlänge, deshalb gibt es sparsame Varianten.
