AIクローラーとは？
別名： AIボット、GPTBot、OAI-SearchBot、Google-Extended
AIクローラーとは、AI企業が学習、検索、ユーザーの質問への回答に使えるよう、ウェブページを自動で取得するプログラムです。
AIクローラーrobots.txtを読む許可ページを取得
例
あるネットショップはrobots.txtで検索用のOAI-SearchBotを許可し、モデルの学習用にコンテンツを集めるGPTBotはブロックしています。
専門家向け
多くの企業はクローラーを目的別に分けています。OpenAIは学習にGPTBot、ChatGPTの検索にOAI-SearchBotを使います。Google-Extendedは、GeminiなどGoogleの他のシステムでの学習とグラウンディングにコンテンツを使うかどうかを決めるもので、通常のGoogle検索には影響しません。制御はRobots Exclusion Protocol（RFC 9309）に基づくrobots.txtで行います。これはお願いであり、技術的な遮断ではありません。検索用クローラーをブロックすると、AIの回答で情報源として示されにくくなります。
AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。