Ein Transformer ist der Bauplan hinter fast allen heutigen Sprachmodellen. Er schaut sich alle Wörter eines Textes gleichzeitig an und erkennt, welche zusammengehören.
Illustration: KI-generiert · AI Compare Ninja · CC BY 4.0
Beispiel
Im Satz „Die Katze trank, weil sie Durst hatte“ erkennt der Transformer, dass „sie“ die Katze meint.
Für Profis
Kern ist der Attention-Mechanismus: Jedes Token gewichtet alle anderen Token im Kontext. Die Architektur wurde 2017 im Paper „Attention Is All You Need“ vorgestellt. Der Rechenaufwand wächst mit der Kontextlänge stark, deshalb gibt es viele effizientere Varianten.
