長文コンテキストとは？

別名： Long context

長文コンテキストとは、モデルが本1冊分や大きなコードベースのような大量の文章を一度に処理できることです。

例

300ページの契約書をアップロードし、すべての解約予告期間を尋ねます。

現在、数十万から数百万トークンを扱えるモデルもあります。ただし研究では、長い文章の中ほどにある情報は見つかりにくいことが示されています(「lost in the middle」)。長文コンテキストは費用が高く、大量の資料を扱う場合はRAGのほうが安く正確なことが多いです。