Cos’è Crawler IA?
Detto anche: Bot IA, GPTBot, OAI-SearchBot, Google-Extended
I crawler IA sono programmi che scaricano automaticamente pagine web perché i fornitori di IA possano usarle per l'addestramento, la ricerca o le risposte alle domande degli utenti.
Esempio
Un negozio online consente nel robots.txt il crawler di ricerca OAI-SearchBot, ma blocca GPTBot, che raccoglie contenuti per addestrare i modelli.
Per esperti
Molti fornitori separano i propri crawler per scopo. OpenAI usa GPTBot per l'addestramento e OAI-SearchBot per la ricerca di ChatGPT. Google-Extended stabilisce se i contenuti vengono usati per addestramento e grounding in altri sistemi Google come Gemini; la normale Ricerca Google non ne è toccata. Il controllo avviene con robots.txt secondo il Robots Exclusion Protocol (RFC 9309). È una richiesta, non una barriera tecnica. I siti che bloccano i crawler di ricerca compaiono meno spesso come fonte nelle risposte dell'IA.
Scritto da AI Compare Ninja con l’aiuto dell’IA e rivisto da noi. Ogni spiegazione è un testo originale.