トランスフォーマーとは？
別名： Transformer
トランスフォーマーは、今のほぼすべての言語モデルの土台になっている仕組みです。文章中の単語をまとめて見て、どの単語どうしが関係しているかをつかみます。
例
「猫が水を飲んだ。のどが渇いていたからだ」という文で、のどが渇いていたのが猫だと理解します。
専門家向け
中心となるのはアテンション機構で、各トークンが文脈内の他のすべてのトークンとの関係に重みを付けます。2017年の論文「Attention Is All You Need」で発表されました。計算量は文脈の長さとともに大きく増えるため、効率を高めた派生方式が数多くあります。
AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。