ما المقصود بـزاحف الذكاء الاصطناعي؟
يُسمّى أيضًا: روبوتات الذكاء الاصطناعي، GPTBot، OAI-SearchBot، Google-Extended
زواحف الذكاء الاصطناعي برامج تجلب صفحات الويب تلقائيًا حتى تستخدمها شركات الذكاء الاصطناعي في التدريب أو البحث أو الإجابة عن أسئلة المستخدمين.
مثال
يسمح متجر إلكتروني في ملف robots.txt لزاحف البحث OAI-SearchBot، لكنه يحظر GPTBot الذي يجمع المحتوى لتدريب النماذج.
للمحترفين
تفصل شركات كثيرة زواحفها حسب الغرض. تستخدم OpenAI زاحف GPTBot للتدريب وOAI-SearchBot لبحث ChatGPT. ويتحكم Google-Extended في استخدام المحتوى للتدريب والتأريض (Grounding) في أنظمة Google الأخرى مثل Gemini، دون أن يتأثر بحث Google العادي. يتم التحكم عبر robots.txt وفق Robots Exclusion Protocol (RFC 9309). وهذا طلب وليس حاجزًا تقنيًا. المواقع التي تحظر زواحف البحث تظهر كمصدر في إجابات الذكاء الاصطناعي بشكل أقل.
كتبه فريق AI Compare Ninja بمساعدة الذكاء الاصطناعي وراجعه بنفسه. كل شرح هنا نص من تأليفنا.