جوجل تنضم إلى OpenAI وAnthropic في اعتماد ضوابط جديدة لمنع سحب المحتوى لتدريب الذكاء الاصطناعي

أعلنت شركات جوجل وOpenAI وAnthropic بالإضافة إلى مايكروسوفت عن التزامها بدعم توجيه جديد في ملف robots.txt يتيح للناشرين تحديد تفضيلاتهم بشأن سحب المحتوى من مواقعهم الإلكترونية لاستخدامه في تدريب نماذج الذكاء الاصطناعي التوليدية.

توحيد إشارة خاصة بمنع سحب المحتوى لأغراض تدريب الذكاء الاصطناعي

وأوضحت الشركات، ضمن إعلاناتها، أن أصحاب المواقع حالياً مضطرون إلى التعرف على كل روبوت زاحف (crawler) على حدة وإضافة قواعد منفصلة لكل مزود خدمة، ما يجعل العملية معقدة وغير فعالة. أما الاقتراح الجديد الذي قدّمته Anthropic عبر مسؤولها الفني في مجال المعايير كيفن كيلي، والذي تناقشه منظمة الإنترنت المفتوحة IETF، فيُتيح اعتماد إشارة موحدة تُعرف عبر user agent جديد في ملف robots.txt مخصّص لمنع سحب المحتوى لأغراض تدريب الذكاء الاصطناعي.

تظهر هذه الإشارة الجديدة بهذا الشكل:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

حيث تمنع هذه القاعدة الزواحف المخصصة لجمع البيانات المستخدمة في تدريب نماذج الذكاء الاصطناعي من الوصول إلى الموقع أو أجزاء منه، مع السماح في بعض الحالات لاستخدام أجزاء محددة مثل ملفات الصحافة (press kit) التي قد يرغب الناشر في إتاحتها.

تأثير التوجيه الجديد على الزحف والظهور في محركات البحث

يُبيّن الإعلان أن هذا التوجيه لا يمنع الزحف بشكل كامل ولا يمنع ظهور الموقع في نتائج بحث جوجل، بل هو موجه تحديداً لزواحف معينة مثل "Google-Extended" الخاصة بجمع بيانات تدريب نماذج Gemini. كما أنه لا يمحو أو يؤثر على البيانات التي تم جمعها سابقاً، بل يمنع فقط عمليات السحب المستقبلية.

خطة التنفيذ والدعم من الشركات الكبرى

بدأت Anthropic بدعم هذا التوجيه فوراً، بينما أعلنت مايكروسوفت عن نيتها تطبيقه اعتباراً من الأول من فبراير 2027، في حين أكد جوجل دعمه بداية 2027 أيضاً، وتعهدت OpenAI بتطبيق الإشارة الجديدة خلال الأشهر القادمة.

يُعد هذا الاتفاق خطوة مهمة نحو منح أصحاب المحتوى تحكماً أكبر في استخدام بياناتهم في تدريب الذكاء الاصطناعي، وهو ما قد يساهم في تحسين شفافية ومصداقية الاستفادة من المحتوى الرقمي في مجال الذكاء الاصطناعي.