OpenAI وGoogle تدعمان خيار إلغاء الاشتراك المشترك في تدريب الذكاء الاصطناعي؟ كيف تعمل إشارة Robots.txt

هل تدعم OpenAI وGoogle خيار إلغاء الاشتراك المشترك في تدريب الذكاء الاصطناعي؟ أعلنت شركات OpenAI وGoogle وMicrosoft في 30 أكتوبر 2026 عن خططها لاعتماد رمز سياسة موحد ومشترك ضمن ملف robots.txt يتيح لمشغلي مواقع الويب التعبير عن تفضيلاتهم بشأن تدريب نماذج الذكاء الاصطناعي التوليدي عبر مزودين متعددين في آنٍ واحد. ينبع الآلية المقترحة من مسودة إنترنت فردية قدمتها مهندسة شركة Anthropic، كيفن كيلي، إلى مجموعة عمل تفضيلات الذكاء الاصطناعي التابعة لـ IETF. ورغم أن هذه المبادرة توفر لناشري المحتوى طريقة مبسطة للإعلان عن إلغاء الاشتراك في التدريب باستخدام صيغتي Allow وDisallow القياسيتين، إلا أن جداول التنفيذ الزمنية لا تزال متباينة حتى عام 2027، وتخطط كل منصة كبرى لتفسير التطبيق وتطبيقه بشكل مختلف عبر مراحل تدريب النماذج والربط المباشر بالمحادثات.

إعادة تنظيم جوهرية في القطاع: مختبرات الذكاء الاصطناعي الكبرى تنسق بشأن معايير Robots.txt

لمحة سريعة

• أعلنت شركات OpenAI وGoogle وMicrosoft في 30 أكتوبر 2026 عن خطط منسقة للاعتراف برمز سياسة مشترك في ملف robots.txt، وهو __usage_ai-training، وذلك لإدارة تفضيلات التدريب للنماذج التوليدية.
• تم تحديد هذه الإشارة في مسودة إنترنت تابعة لـ IETF وضعتها مهندسة Anthropic كيفن كيلي، مما يضع بنية نحوية قياسية دون أن يمثل ذلك معيار RFC رسميًا أو نهائيًا صادرًا عن IETF.
• تتباين جداول اعتماد المنصات بشكل ملحوظ: فقد بدأت Anthropic العمل الهندسي الداخلي، وتستهدف OpenAI طرح الميزة في الأشهر المقبلة، بينما تبدأ Microsoft في 1 فبراير 2027، وتتوقع Google توفير الدعم في عام 2027.

لطالما نظم بروتوكول استبعاد الروبوتات (Robots Exclusion Protocol)، على مدار نحو ثلاثين عامًا، طريقة تفاعل برامج الزحف الآلية للويب مع المحتوى العام على الإنترنت. وضع مسؤولوا مواقع الويب ملف نصي بسيط بصيغة robots.txt في الدليل الجذر، لتحديد وكلاء المستخدم التابعين لمحركات البحث الذين يمتلكون صلاحية جلب مسارات عناوين URL معينة. عمل هذا البروتوكول على قاعدة تجارية أساسية: حيث سمح ناشرو ومطورو وموقعو المحتوى لبرامج الزحف بفهرسة محتواهم مقابل الحصول على سهولة الاكتشاف، وحركة الإحالات الصادرة، والظهور التجاري في صفحات نتائج محركات البحث.

أدى الصعود السريع للذكاء الاصطناعي التوليدي إلى إحداث اضطراب في هذا النموذج الاقتصادي. فقد بدأت برامج الاستخراج الآلية التي تنشرها مختبرات الذكاء الاصطناعي الرائدة في استيعاب نطاقات الويب لتدريب النماذج الأساسية، وغالبًا ما كانت تلخص المحتوى الأصلي مباشرة داخل واجهات الإجابات دون توجيه نقرات إحالة إلى الناشريْن. وأصبح أصحاب المحتوى الراغبون في منع استيعاب ملكيتهم الفكرية مجبرين على الحفاظ على قوائم مجزأة ومعقدة لوكلاء المستخدم الخاصة، بما في ذلك GPTBot وClaudeBot وGoogle-Extended. وقد أدى هذا العبء الإداري إلى زيادة المخاطر التشغيلية المتمثلة في أخطاء التكوين أو إلغاء الفهرسة العرضية لمحركات البحث عند إدارة توجيهات برامج الزحف المتعددة في نفس الوقت.

يمثل ظهور خيار إلغاء الاشتراك المشترك في تدريب الذكاء الاصطناعي تحولاً مهمًا يبتعد عن الحظر المجزأ للبائعين ويتجه نحو الحوكمة التعاونية للبروتوكولات. ومن خلال تنسيق الدعم حول رمز سياسة مشترك، تهدف شركات الذكاء الاصطناعي الكبرى إلى خفض الحاجز التقني أمام مبدعي المحتوى الراغبين في وضع حدود واضحة تتعلق بتدريب النماذج التوليدية. ووفقًا لـ إعلان بحث Google الرسمي، يتيح هذا التوجيه الفردي لمسؤولي مواقع الويب الإعلان عن موقفهم من تدريب الذكاء الاصطناعي التوليدي في خطوة واحدة، بدلاً من تتبع وتكوين توجيهات مميزة لكل برنامج زحف تجاري مستقل للذكاء الاصطناعي يدخل السوق.

آليات البنية التقنية تحت الغطاء: كيف يعمل رمز __usage_ai-training

تم تحديد البنية التقنية الكامنة وراء إشارة التفضيل المشتركة في مسودة إنترنت IETF الخاصة بإشارات تفضيلات التدريب القابلة للقراءة آليًا. والأهم من ذلك، أن المسودة لا تقدم توجيهات مبتكرة أو تغير القواعد الأساسية لبروتوكول استبعاد الروبوتات المحدد في المعيار RFC 9309. وبلاً من ذلك، فهي تعيد استخدام سجل User-Agent القياسي عبر تخصيص رمز سياسة محجوز وهو: __usage_ai-training.

لتكوين خيار إلغاء الاشتراك، يقوم مدير الموقع بإنشاء كتلة قواعد معادية لتخصيص رمز السياسة هذا كوكيل مستخدم، متبوعًا بقواعد Disallow وAllow القياسية. يوضح المثال أدناه كيف يعبر صاحب موقع الويب عن إلغاء الاشتراك عبر جميع أدلة الموقع مع الحفاظ على استثناء للمواد الترويجية العامة:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

يستند التحديد الدلالي لما يُقصد بـ "تدريب الذكاء الاصطناعي" إلى مواصفات المفردات الأساسية لمجموعة عمل IETF. وتحت مظلة هذا الإطار، يُعرّف التدريب بدقة على أنه استخدام محتوى الويب المُستخرج لتعديل أو ضبط الأوزان والمعلمات المُتعلّمة لنموذج ذكاء اصطناعي توليدي. ويتم استبعاد العمليات الحسابية غير التوليدية، مثل تصنيف المستندات القياسي، وترتيب مؤشرات البحث، وتصحيح الأخطاء الإملائية، وتصفية الرسائل غير المرغوب فيها، صراحةً من هذا التعريف.

حدود البروتوكول: الزحف مقابل التدريب مقابل الربط السياقي (Grounding)

يتطلب فهم الحدود التشغيلية لهذا الرمز المقترح فصل المراحل المتميزة لاستخراج البيانات الآلية:

[المحتوى العام على الويب]
       │
       ▼
[1. جلب/زحف عبر HTTP] ──> مُدار بواسطة وكلاء مستخدم لبرامج الزحف (مثل GPTBot وBingbot)
       │                    *رمز __usage_ai-training لا يدير سلوك جلب HTTP*
       ├────────────────────────────────────────┐
       ▼                                        ▼
[2. استخدام تدريب النماذج]                [3. الربط السياقي المباشر / RAG]
   *__usage_ai-training: Disallow*          *مُدار عبر علامات الصفحات وإعدادات المزود*
   يعبر عن التفضيل ضد التدريب            يزود نماذج الذكاء الاصطناعي بسياق الويب الفوري
       │                                        │
       ▼                                        ▼
   التنفيذ يعتمد على                        معايير الاهلية محددة بواسطة
   مزودي الذكاء الاصطناعي المشاركين        سياسات كل منصة مستقلة

يجب على الفرق التقنية تقييم أربعة حدود هيكلية متأصلة في مواصفات هذه المسودة:

1. الإشارة تدير التدريب ولا تدير الزحف: لا يُعد رمز السياسة توجيهًا لسلوك الزحف عبر الشبكة. ولا يزال برنامج زحف الذكاء الاصطناعي الذي يواجه الأمر Disallow: / تحت المعلمة __usage_ai-training مسموحًا له بجلب مستند HTML عبر بروتوكول HTTP؛ بل إنه يُوجه فقط بعدم إدخال النص المُسترد في خطوط أنابيب تدريب النماذج. ولWمنع أي روبوت من طلب عنوان URL تمامًا، يجب على المسؤولين الاستمرار في حظر الاسم الهوياتي المحدد لبرنامج الزحف.
2. القواعد العامة (Wildcards) لا تنطبق: حظر النطاقات العامة العامة، مثل استخدام User-Agent: * متبوعًا بـ Disallow: /، لا يتطابق مع رمز السياسة. وتفرض المسودة ألا يقوم مزودو الذكاء الاصطناعي المشاركون بتفسير مجموعة النطاق العام على أنها تعبير عن تفضيل تدريب الذكاء الاصطناعي. وإذا أغفل أي ملف رمز __usage_ai-training الصريح، فإن المعيار يفسر الموقع على أنه لا يعبر عن أي تفضيل للتدريب.
3. غياب عملية إلغاء تعلم النماذج بأثر رجعي: يعمل تحديث ملف robots.txt الخاص بموقع الويب نحو الأمام في الزمن. فهو يوفر إشارة لدورات الزحف والتدريب المستقبلية، ولكنه لا يجبر أي مختبر ذكاء اصطناعي على مسح البيانات المدمجة بالفعل في مجموعات بيانات التدريب التاريخية أو حذف الأوزان من النماذج الأساسية الموجودة مسبقًا.
4. التنسيق الطوعي بدلاً من الإنفاذ التقني: تعبر الإشارة عن تفضيل الناشر؛ وهي لا توفر إنفاذًا تقنيًا ضد مستهلكي البيانات غير المشاركين أو غير الملتزمين. وتحت مبادئ RFC 9309، يظل ملف robots.txt آلية استشارية تعاونية بدلاً من كونه جدار حماية للتحكم في الوصول.

اختلافات تنفيذ المزودين وجداول الهجرة

على الرغم من أن Google وMicrosoft وOpenAI قد أعلنت عن خطط لدعم الإشارة المشتركة، إلا أن تطبيقاتها التقنية وجداول طرحها تتباين بشكل كبير. تقارب كل جهة تقديم خدمة التوازن بين فهرسة محركات البحث، وتدريب النماذج التوليدية، والاسترجاع المعزز للتوليد في المحادثات (RAG) من خلال بنية منتجاتها الخاصة.

يقارن الجدول أدناه التزامات المنصات المؤكدة، وقواعد التفسير، وجداول الهجرة:

المنصة	الحالة المؤكدة والجدول الزمني	تفسير رمز السياسة	معالجة الربط السياقي (Grounding) والاسترجاع	هجرة العلامات القديمة والاستثناءات
Google	تم إعلان الدعم؛ ومخطط لعام 2027 (التاريخ الدقيق سيتم تحديده لاحقًا)	يُفسر على أنه Google-Extended: Disallow عندما لا توجد قاعدة صريحة لـ Google-Extended	يؤثر التعيين الافتراضي على ربط تطبيقات Gemini Apps سياقيًا؛ والقواعد الصريحة تتجاوز الافتراضي	تظل توجيهات Google-Extended الحالية سارية المفعول بالكامل؛ ولا تتأثر فهرسة البحث
Microsoft	التزام مؤكد؛ ويبدأ تطبيق العمل به في 1 فبراير 2027	يُعترف به كخيار لإلغاء الاشتراك في التدريب أثناء زحف الويب	مفصول عن التدريب؛ ويُدار بشكل مستقل عبر علامات مستوى الصفحة	إيقاف استخدام وسوم NoArchive / NoCache للذكاء الاصطناعي في 1 مارس 2027؛ وإعداد مؤقت في أدوات مشحفي Bing يفتح في 15 ديسمبر
OpenAI	ملتزمة بالتنفيذ خلال الأشهر القادمة	دعم مباشر في خطوط استيعاب البيانات	يتم تقييمه جنبًا إلى جنب مع توجيهات GPTBot	تظل تكوينات GPTBot الحالية نشطة وقابلة للتنفيذ
Anthropic	مسودة كتبها موظف بالشركة؛ وتم الإبلاغ عن التطوير في قائمة مجموعة العمل	الدعم المستهدف عبر الخدمات؛ والجدول الزمني الرسمي للغرفة الإخبارية يُحدد لاحقًا	يتم تقييمه جنبًا إلى جنب مع توجيهات ClaudeBot	تستمر ضوابط زحف ClaudeBot الحالية في العمل

تخطط Google لتفسير خيار إلغاء الاشتراك المشترك في تدريب الذكاء الاصطناعي على أنه حظر لـ Google-Extended في حال عدم وجود قاعدة Google-Extended صريحة. ونظرًا لأن Google-Extended يحكم أيضًا أهلية الربط السياقي في تطبيقات Gemini Apps، فإن هذا التعيين الافتراضي يمكن أن يؤثر على ما إذا كان محتوى الناشر متاحًا لتلك التجربات. ولهذا، تحظى قاعدة Google-Extended الصريحة بالأولوية على الإشارة المشتركة في تطبيق Google، ولكن لا ينبغي للناشرين افتراض أن ضوابط Google الحالية توفر خيارات مستقلة لإلغاء الاشتراك في تدريب النماذج والربط السياقي لـ Gemini Apps. قد يكون المحتوى المسموح به بموجب Google-Extended مؤهلاً لربط Gemini سياقيًا، دون أي ضمان للإضمام أو الاستشهاد.

في المقابل، تتعامل Microsoft Bing مع تدريب النماذج والربط السياقي الفوري كمفاهيم هكيلية متميزة، وفقاً لما تم تفصيله في تحديث أدوات مشرفي مواقع Bing الرسمي. تسمح Microsoft للناشرين بإلغاء الاشتراك في تدريب النماذج التوليدية مع الاستمرار في السماح بالربط السياقي المباشر في إجابات Copilot. يمكن للمواقع التي تدير هذه التفضيلات الإعلان عن قيود التدريب في ملف robots.txt أو عبر ميتا تاقز (Meta Tags) على مستوى الصفحة وحزم HTTP، والتي تتجاوز ملف robots.txt لعناوين URL الفردية. ويتم التحكم في الربط السياقي عبر تفضيلات مستوى الصفحة، بما في ذلك خيار DisallowExtended الذي يسمح بالربط السياقي في أدوات Microsoft الخاصة (مثل Copilot) مع استبعاد الخدمات الخارجية المدعومة بواسطة واجهات برمجة تطبيقات الربط السياقي من Microsoft. علاوة على ذلك، تعمل Microsoft على التخلص تدريجيًا من اعتمادها التاريخي على علامات NoArchive وNoCache لضوابط الذكاء الاصطناعي؛ ويجب على المواقع التي تعتمد على تلك العلامات الانتقال إلى الخيارات الجديدة قبل 1 مارس 2027. يتوفر إعداد الربط السياقي المؤقت لأدوات مشرفي مواقع Bing فقط للمواقع التي تستخدم NoArchive أو NoCache اعتبارًا من 15 ديسمبر 2026، ويظل فعالاً حتى تقوم Microsoft بإعادة الزحف إلى الصفحة واكتشاف التفضيل الجديد، أو حتى 30 سبتمبر 2027، أيهما يقع أولاً.

قائمة التحقق الهندسية: تدقيق تفضيلات الويب لعصر الويب المعتمد على الوكلاء (Agentic Web)

يتطلب نشر إشارة تفضيل تدريب الذكاء الاصطناعي المشتركة تنسيقًا بين هندسة الأنظمة، وعمليات المحتوى، وفرق الحوكمة القانونية. ويجب على القادة الهندسيين التأكد من أن تكوينات الخادم تعكس بدقة السياسات التنظيمية دون تعطيل اكتشاف محركات البحث عن غير قصد.

قائمة التحقق لمشرفي المواقع والتنفيذ النظامي

• تدقيق قوائم الروبوتات الحالية: مراجعة ملفات robots.txt الحالية لفهرسة التوجيهات الخاصة بالمزودين، والتحقق مما إذا كانت القواعد الخاصة بـ GPTBot أو ClaudeBot أو Google-Extended تتعارض مع سياسات التدريب التنظيمية.
• نشر رمز السياسة المحجوز: تطبيق كتلة User-Agent: __usage_ai-training للتعبير عن حدود التدريب العالمية عبر مزودي الذكاء الاصطناعي المشاركين بتنسيق موحد.
• الحفاظ على مسارات الاستثناءات التفصيلية: إذا كانت الأصول العامة—مثل البيانات الصحفية، أو الحزم الاعلامية، أو وثائق المطورين المفتوحة—مخصصة لاستهلاك النماذج، فقم بالإعلان عن استثناءات صريحة باستخدام الأمر Allow: أسفل توجيه الحظر.
• فصل حظر الجلب عن حوكمة التدريب: إذا كان الهدف الأساسي هو تقليل الحمل على خادم المنشأ أو منع الاستخراج غير المصرح به، فيرجى تكوين الحد من المعدل المستند إلى عنوان IP، وتحديات روبوتات شبكة CDN، وحجوزات وكلاء زحف محددة.

قائمة التحقق للحوكمة والامتثال

• مراجعة جداول هجرة الربط السياقي لشركة Microsoft: بالنسبة للمواقع التي تستخدم علامات NoArchive أو NoCache للتحكم في مخرجات Bing Copilot، يجب الاستعداد للانتقال إلى علامات مستوى الصفحة الجديدة قبل موعد إنفاذ Microsoft في 1 مارس 2027.
• تقييم مقايضات الاكتشاف في البحث: بالنسبة للمنصات التي تقيم ظهورها في محركات الإجابات الحوارية، يجب إدراك كيف تؤثر التعيينات الافتراضية الخاصة بالمزودين (مثل تراجع Google الاحتياطي إلى Google-Extended) على أهلية الاسترجاع في الوقت الفعلي.
• تتبع تحديثات مجموعة عمل IETF: مراقبة تقدم المسودة draft-kelley-aipref-training-preference-signal ضمن مجموعة عمل IETF AIPREF لمراعاة أي تحديثات محتملة للصيغة قبل انتهاء صلاحيتها المقرر في مايو 2027.