Was ist KI-Crawler?
Auch genannt: KI-Bots, GPTBot, OAI-SearchBot, Google-Extended
KI-Crawler sind Programme, die Webseiten automatisch abrufen, damit KI-Anbieter sie für Training, Suche oder Antworten auf Nutzerfragen verwenden können.
Beispiel
Ein Online-Shop erlaubt in seiner robots.txt den Such-Crawler OAI-SearchBot, sperrt aber GPTBot, der Inhalte für das Training von Modellen sammelt.
Für Profis
Viele Anbieter trennen ihre Crawler nach Zweck. OpenAI nutzt GPTBot fürs Training und OAI-SearchBot für die ChatGPT-Suche. Google-Extended steuert, ob Inhalte für Training und Grounding in anderen Google-Systemen wie Gemini genutzt werden; die normale Google-Suche bleibt davon unberührt. Gesteuert wird über robots.txt nach dem Robots Exclusion Protocol (RFC 9309). Das ist eine Bitte und keine technische Sperre. Wer Such-Crawler sperrt, erscheint in KI-Antworten seltener als Quelle.
Von AI Compare Ninja mit KI-Unterstützung geschrieben und redaktionell geprüft. Alle Erklärungen sind eigene Texte.