¿Qué es Rastreador de IA?
También llamado: Bots de IA, GPTBot, OAI-SearchBot, Google-Extended
Los rastreadores de IA son programas que descargan páginas web automáticamente para que los proveedores de IA las usen en el entrenamiento, la búsqueda o las respuestas a preguntas de usuarios.
Ejemplo
Una tienda online permite en su robots.txt el rastreador de búsqueda OAI-SearchBot, pero bloquea GPTBot, que recopila contenidos para entrenar modelos.
Para profesionales
Muchos proveedores separan sus rastreadores según la finalidad. OpenAI usa GPTBot para el entrenamiento y OAI-SearchBot para la búsqueda de ChatGPT. Google-Extended controla si los contenidos se usan para entrenamiento y grounding en otros sistemas de Google como Gemini; la búsqueda normal de Google no se ve afectada. El control se hace con robots.txt según el Robots Exclusion Protocol (RFC 9309). Es una petición, no una barrera técnica. Los sitios que bloquean rastreadores de búsqueda aparecen con menos frecuencia como fuente en respuestas de IA.
Redactado por AI Compare Ninja con ayuda de IA y revisado por nosotros. Todas las explicaciones son textos propios.