チャンキングとは？
別名： チャンク分割、テキスト分割
チャンキングとは、長い文書を小さな断片に分け、あとでAIが適切な箇所を見つけられるようにすることです。
例
80ページのマニュアルを、半ページほどの断片に分けます。
専門家向け
断片の大きさと重なりは、RAGシステムの品質に大きく影響します。小さすぎると文脈が失われ、大きすぎると検索がぼやけます。見出しや段落で区切り、タイトルやページ番号などのメタデータを残すのが良い方法です。
AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。