アテンション機構とは？
別名： Attention、自己注意
アテンションは、言語モデルが今の単語にとってどの単語が重要かを判断するための計算です。
例
「はしを持って川のはしを渡った」で、モデルは周りの言葉に注目し、最初の「はし」は箸、二つ目は端だと見分けます。
専門家向け
各トークンがクエリ、キー、バリューのベクトルを作り、その類似度から他のすべてのトークンへの重みが決まります。複数のアテンションヘッドが並行して働きます。計算量は文脈の長さの二乗で増えるため、効率化した方式が数多くあります。
AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。