عدم السماح بتدريب الذكاء الاصطناعي في Cloudflare: خريطة لترحيل إعدادات الزواحف لفرق البحث

ما الذي تغيّر: عدم السماح بتدريب الذكاء الاصطناعي يختلف عن الحظر

ينشر خيار عدم السماح بتدريب الذكاء الاصطناعي (Disallow AI Training) في Cloudflare تفضيلات التدريب، مع إبقاء زواحف البحث متعددة الاستخدامات المصنّفة «خاضعة للمساءلة» (Accountable) مسموحًا لها بالوصول. أما خيار حظر التدريب (Training Block) فقد يوقف الزواحف نفسها. هذا هو الفرق العملي في إصدار Cloudflare بتاريخ 15 سبتمبر 2026. وفي المقابل، لا يزال دعم Bing لتفضيل عدم التدريب عبر robots.txt مستهدفًا لأوائل 2027.

ابدأ بالنتيجة التي تريدها. إبقاء الصفحات متاحة للبحث لا يحسم ما إذا كان يمكن استخدام محتواها في التدريب، ولا يحسم أي من القرارين إدراج المحتوى في ملخصات الذكاء الاصطناعي. يحتاج كل منها إلى أداة تحكم مدعومة. ولا يكفي ضبط لوحة التحكم لاعتبار العمل مكتملًا. تحقّق من أن الزاحف المقصود لا يزال قادرًا على الوصول إلى الصفحات المهمة.

يشرح الإصدار كيفية عمل أدوات التحكم، لكنه لا يثبت أن المواقع فقدت ترتيبها في نتائج البحث عند طرحه.

ثلاث نتائج تحتاج إلى أدوات تحكم منفصلة

عند استخدام خيار عدم السماح بتدريب الذكاء الاصطناعي، تنشر ميزة مزامنة تفضيلات الروبوتات (Bot Preference Sync) تفضيلات التدريب المنطبقة عبر robots.txt. وتظل الزواحف متعددة الاستخدامات المصنّفة Accountable مسموحًا لها بالوصول لأغراض البحث. أما زواحف التدريب الأخرى فتُحظر، بما فيها مسارات Amazon وAnthropic وMeta وOpenAI المخصّصة للتدريب فقط. ولدى هذه الجهات زواحف بحث منفصلة تُعامل بوصفها أهدافًا مختلفة.

يُعدّ Google-Extended وApplebot-Extended رمزين للتحكم في الاستخدام، وليسا اسمين بديلين لـ Googlebot وApplebot. ورفض استخدام المحتوى في التدريب لا يعني تلقائيًا رفض كل إجابة مولّدة. يتناول دليل تحسين محركات البحث ومحركات الإجابة والبحث التوليدي (SEO وAEO وGEO) السياق الأوسع، بينما ينصبّ التركيز هنا على قرارات الترحيل والأدلة اللازمة لتبريرها.

احصر إعدادات Cloudflare الحالية قبل تغيير إتاحة الوصول للبحث

الإعدادات وآثارها: السماح وعدم السماح والحظر

سجّل القيم الحالية للنطاق (zone) قبل تغيير أي شيء. فاختيار السماح (Allow) لا يتجاوز إعدادًا منفصلًا أو قاعدة غير مرتبطة به في جدار حماية تطبيقات الويب (WAF). ويشمل الآن كل من حظر التدريب والحظر على الصفحات التي تحتوي على إعلانات (Block on pages with ads) زواحف Applebot وBingbot وGooglebot متعددة الاستخدامات، ولذلك قد يؤدي افتراض بشأن ما يُعدّ حركة مرور للذكاء الاصطناعي إلى منع غير مقصود للوصول لأغراض البحث.

يوثّق إصدار Cloudflare الصادر في سبتمبر الإعدادات ونتائج الترحيل التالية.

الترحيل التلقائي ليس إعدادًا مسبقًا لنطاق جديد

تقول Cloudflare إن معظم الإعدادات الحالية تُرحّل تلقائيًا. ولا يعني المعنى الجديد لخيار الحظر أن كل موقع كان محميًا سابقًا أصبح فجأة يحظر Googlebot. تحقّق من القيم بعد الترحيل قبل أن تقرّر ما إذا كان التغيير مطلوبًا.

أما التوصيات الخاصة بالنطاقات الجديدة فهي مسألة منفصلة. فبالنسبة إلى المواقع المدعومة بالإعلانات، يقترح الإعداد المسبق السماح للبحث، وعدم السماح بتدريب الذكاء الاصطناعي للتدريب، والحظر على الصفحات التي تحتوي على إعلانات للوكلاء. وبالنسبة إلى المواقع غير المدعومة بالإعلانات، يقترح السماح للفئات الثلاث. وتُفعّل مزامنة تفضيلات الروبوتات في الحالتين، ويمكن للمالكين تغيير هذه التوصيات.

تتوفر أدوات التحكم في جميع الخطط على مستوى اسم النطاق أو النطاق (zone). ولا يوجد خيار لعدم السماح بتدريب الذكاء الاصطناعي على صفحات الإعلانات فقط، ولا خيار لعدم السماح ضمن إعداد الوكلاء. واختبار مسارات بعينها لا يحوّل أدوات التحكم إلى إعدادات تعمل على مستوى المسار.

كانت وثائق حظر روبوتات الذكاء الاصطناعي لا تزال تعرض، عند التحقّق منها، صياغة تعود إلى يوليو بشأن الإعدادات الافتراضية لشهر سبتمبر. وعندما تتعارض الروايتان، تنسب هذه المقالة سلوك الترحيل الأحدث إلى إصدار سبتمبر. تحقّق من لوحة التحكم قبل اتباع تسلسل نقرات مفترض.

تحقّق من إمكانات المزوّدين، وخصوصًا فجوة دعم Bing حتى أوائل 2027

يشمل تصنيف Accountable أكثر من الآليات المتاحة بالفعل. فهو يتطلب إمكان رفض استخدام المحتوى في التدريب، ورفض إدراجه في الملخصات، والشفافية على مستوى عنوان URL، وضمان أن رفض التدريب لا يؤثر في البحث التقليدي، سواء كانت هذه الإمكانات متاحة الآن أو مشمولة بالتزامات. وتظل كل آلية بحاجة إلى فحص خاص بها.

Google: ‏Google-Extended ليس Googlebot

تصف وثائق زواحف Google ‏Google-Extended بأنه رمز منتج لا يملك سلسلة وكيل مستخدم منفصلة في طلبات HTTP. وهو يتحكم في استخدامات محددة لتدريب Gemini والاستناد إلى المصادر. وتقول Google إنه لا يؤثر في الإدراج ضمن البحث أو في الترتيب.

بالنسبة إلى ميزة «نظرة عامة بالذكاء الاصطناعي» (AI Overviews) و«وضع الذكاء الاصطناعي» (AI Mode) من Google، تشير إرشادات الذكاء الاصطناعي في البحث إلى Googlebot بوصفه وسيلة التحكم في إتاحة الزحف، وتدرج nosnippet وdata-nosnippet وmax-snippet وnoindex بوصفها وسائل للحد من المعلومات المعروضة. ولهذه الوسائل تبعات مختلفة. وعلى وجه الخصوص، فإن noindex ليس تفضيلًا يخص التدريب وحده، ولا ينبغي التعامل معه على هذا الأساس.

بعد تغيير أدوات التحكم في المعاينة، استخدم أداة فحص عنوان URL في Search Console للاطلاع على HTML الذي تلقاه Googlebot، ثم أتح وقتًا لإعادة الزحف والمعالجة. لا تبحث عن زاحف Google-Extended منفصل في سجلات الوصول بوصفه دليلًا على نجاح تطبيق التفضيل، لأن الوثائق لا تصف وجود مثل هذا الزاحف.

تصف Cloudflare أيضًا مفتاح تبديل في بوابة للبحث التوليدي. لكن وثائق Google التي جرى التحقّق منها هنا لا تثبت بصورة مستقلة وجود هذه الواجهة المحددة لجميع المستخدمين. ولذلك لا توصي هذه الخريطة باستخدامها، ولا تتعامل مع الشفافية الموعودة على مستوى عناوين URL بوصفها متاحة بالفعل.

Apple: ‏Applebot-Extended ليس حظرًا لزاحف البحث

تقول Apple إن Applebot-Extended لا يزحف إلى الصفحات. ويضبط عدم السماح له استخدام المحتوى الذي يجمعه Applebot في التدريب، بينما يمكن أن تظل الصفحات قابلة للاكتشاف في البحث.

وتوثّق Apple بصورة منفصلة استخدام nosnippet لإجابات توليدية محددة، مع آثار على الأوصاف وإجابات الويب. راجع هذه الآثار على العرض قبل التطبيق، لأنها تمس طريقة ظهور المحتوى، لا استخدامه في التدريب فحسب. وتنسب Cloudflare عمل Apple على فحص عناوين URL إلى العام المقبل، أي 2027، دون تحديد موعد إطلاق.

Bing: فجوة في التفضيلات لا تعني توصية بإزالة المحتوى

إلى أن يصل دعم Bing المستهدف لأوائل 2027، لا يبلّغ خيار عدم السماح بتدريب الذكاء الاصطناعي تلقائيًا عن تفضيل عدم التدريب عبر robots.txt. سجّل هذه الحالة بوضوح على أنها غير محسومة، لا منفّذة.

يقول إعلان Microsoft الصادر في سبتمبر 2023 إن NOARCHIVE يستبعد المحتوى من إجابات Bing Chat ومن تدريب النماذج الأساسية مستقبلًا، مع الإبقاء على أهليته للظهور في نتائج البحث. وتكون الأولوية لـ NOCACHE عند وجود التوجيهين معًا. هذه دلالات موثّقة تاريخيًا، وليست تغطية تحقّقنا منها بصورة مستقلة لكل واجهات Microsoft الحالية.

تذكر Cloudflare توجيه NOARCHIVE وأدوات الإزالة. لا تستخدم الإزالة بديلًا يخص التدريب وحده، لأن تبعاتها على الفهرسة تحتاج إلى تحقّق منفصل. ولا توصي هذه المقالة بإجراءات للإزالة. كذلك فإن تحكم Cloudflare الموحّد في مقدار المحتوى الوارد في الملخصات هدف لأوائل 2027، وليس ميزة متاحة في سبتمبر.

استخدم خريطة ترحيل إعدادات الزواحف بحسب الغرض

سجّل الحالة الأساسية والنتائج المطلوبة

خريطة ترحيل إعدادات الزواحف بحسب الغرض هي نموذج عمل تقدّمه هذه المقالة، وليست ميزة من Cloudflare أو منهجية ندّعي تطبيقها لدى العملاء. استخدمها لربط حالة النطاق المسجّلة بالنتائج التي تريدها. وإلى جانب كل أداة تحكم مقترحة، احتفظ بحالة دعم المزوّد والأدلة اللازمة لقبول التغيير. وأدرج طريقة التراجع عنه.

صدّر الإعدادات حيثما أمكن، أو سجّل القيم الدقيقة للبحث والتدريب والوكلاء، وحالة مزامنة تفضيلات الروبوتات، والاستجابة العامة لملف robots.txt، وقواعد جدار حماية تطبيقات الويب ذات الصلة. أرفق وقت التسجيل. واحجب تفاصيل القواعد الحساسة قبل مشاركتها خارج الفريق التشغيلي.

دوّن ما إذا كان ينبغي إبقاء الوصول للبحث مفتوحًا، ثم حدّد تفضيل التدريب. واتخذ قرارًا مستقلًا بشأن سياسة الملخصات. يظل التفضيل غير المدعوم فجوة، حتى إن بدت لوحة التحكم مضبوطة، فالإعداد وحده لا يثبت دعم المزوّد ولا امتثاله.

اختر مسارات تمثيلية قابلة للفهرسة، بما فيها صفحات تعرض إعلانات وأخرى لا تعرضها عند الاقتضاء. سجّل الملاحظات المتاحة عن الزحف والفهرسة قبل التغيير. اتفق على حالات المنع غير المتوقعة التي ستؤدي إلى التراجع، وحدّد الشخص القادر على استعادة الإعدادات. وسجّل أي وسائل حماية غير مرتبطة بالتغيير يجب أن تظل سليمة.

هذا السجل التوضيحي ليس حمولة لواجهة برمجة تطبيقات Cloudflare ولا ملاحظة من بيئة إنتاج. وهو يقترح رفض التدريب مع إبقاء قرار الملخصات غير محسوم.

{
  "zone": "example.com",
  "observedAt": null,
  "desiredOutcomes": {"search": "allow", "training": "decline", "summaries": "undecided"},
  "currentControls": "not_checked",
  "proposedControls": {"Search": "Allow", "Training": "Disallow AI Training", "Agent": "retain_recorded_baseline"},
  "providerSupport": {"bingRobotsTraining": "target_early_2027_not_shipped"},
  "evidence": {"robotsTxt": "not_checked", "verifiedCrawlerAccess": "not_checked"},
  "rollback": "restore_recorded_baseline_after_unintended_search_denial"
}

افحص robots.txt وإتاحة الوصول للزواحف

تضيف ميزة مزامنة تفضيلات الروبوتات المحتوى المولّد في بداية محتوى robots.txt الحالي. افحص الاستجابة كاملة، لا الأسطر المولّدة حديثًا فقط. تحقّق من مجموعات وكلاء المستخدم المنطبقة وأولوية التوجيهات وفقًا لقواعد الجهة المشغّلة لكل زاحف. ترتيب ظهور الأسطر ليس اختبار قبول. وتقول Cloudflare أيضًا إن هذه المزامنة على مستوى الفئة لا تقرأ مباشرة القواعد المخصّصة الفردية ذات المنطق الأكثر تعقيدًا. لا تفترض أن استثناءً مخصّصًا في جدار حماية تطبيقات الويب قد تُرجم إلى robots.txt.

يمكن استخدام سلسلة وكيل مستخدم منسوخة من Googlebot لفحص استجابة، لكنها لا تثبت أن Googlebot الحقيقي يستطيع الوصول. استخدم طرق التحقّق الموثّقة من الهوية حيثما توفرت. تصف وثائق Cloudflare لإدارة الزواحف التعرّف عبر وكيل المستخدم في الخطة المجانية، والكشف الأكثر تدقيقًا في الخطط الأعلى. حدّد مستوى الثقة وفقًا لذلك.

وتحذّر الوثائق نفسها من أن الطلبات غير الناجحة قد تنتج عن قواعد أخرى أو أخطاء في الاستجابة. شخّص أداة التحكم المسؤولة قبل تغيير سياسة التدريب. وإلا فقد يُضعف الفريق قاعدة غير مسؤولة عن المشكلة، فيما تظل مشكلة الزاحف دون حل.

قِس النتائج واحتفظ بإمكانية التراجع

توفّر منظومة قياس البحث بالذكاء الاصطناعي سياقًا أوسع للقياس. ويحتاج هذا الترحيل إلى سجل أضيق نطاقًا يربط كل ملاحظة بالتغيير المحدد في الإعدادات.

تُدرج Google ميزتَي «نظرة عامة بالذكاء الاصطناعي» و«وضع الذكاء الاصطناعي» ضمن تقارير الويب الإجمالية في Search Console. لا تصف تغيّرًا إجماليًا بأنه أثر معزول للملخصات. اختر فترات المراقبة وفقًا لزيارات الزواحف الفعلية والمعالجة، لا بناءً على افتراض إمكان إصدار حكم فوري.

إذا مُنع الوصول المقصود للبحث بعد التغيير، فاستعد الإعدادات المسجّلة وأعد فحص المسارات المتأثرة. ولا تضمن الاستعادة إعادة الزحف أو تعافي الفهرسة فورًا. يوفّر اختبار تتبّع الأدلة في Cloudflare Radar للباحثين سياقًا ذا صلة بالتعامل مع الأدلة لمنتج مختلف، وليس لطرح أدوات التحكم هذه.

أخطاء شائعة عند الفصل بين البحث والتدريب

الخطأ الأساسي هو اختيار حظر التدريب مع توقّع استمرار زاحف متعدد الاستخدامات في أداء البحث. افحص القيم بعد الترحيل بدلًا من الاعتماد على المعنى القديم للتسمية. فالسماح للبحث لا يلغي القيود المستقلة في مواضع أخرى من الإعدادات.

لا تستطيع إعدادات الوكلاء تعويض غياب آلية للتحكم في التدريب. ولا يمكن لخيار عدم السماح على صفحات الإعلانات فقط أن يحل المشكلة أيضًا، لأنه غير متاح أصلًا. وتصنيف Accountable لا يسد فجوة Bing، كما أن توجيه التدريب ليس رفضًا لإدراج المحتوى في الملخصات.

انتبه إلى ما تُظهره الأدلة فعليًا. فسلسلة وكيل مستخدم منسوخة لا تخبرك بالكثير عن هوية الزاحف، بينما يسجّل robots.txt تفضيلًا منشورًا دون أن يثبت توقف التدريب. وقد يمنحك استقرار الترتيب أيضًا طمأنينة في غير محلها، فهو لا يخبرك بما إذا كان كل مسار مهم لا يزال متاحًا للوصول.

تجنّب الوصفات العامة للوسوم. يوضّح التفاعل بين NOARCHIVE وNOCACHE لدى Microsoft كيف يمكن أن يغيّر الجمع بين التوجيهات النتيجة. تحقّق من نطاق انطباقها على المنتجات قبل التطبيق، وخصوصًا قبل استخدام أدوات الإزالة.

محاذير: ما لا تستطيع هذه الخريطة إثباته

نشر التفضيل لا يثبت الامتثال. كما أنه لا يستطيع إزالة المحتوى من النماذج القائمة أو إثبات كيفية استخدام مجموعات المحتوى السابقة. ولا تستطيع الأدلة المتعلقة بإنفاذ ضوابط الزحف، بمفردها، الإجابة عن أسئلة الهوية أو الاستخدام اللاحق للبيانات.

ضع في الحسبان جهد التنفيذ، وتغيّر الوثائق، والاستجابات المخزّنة مؤقتًا، وتوقيت إعادة الزيارة، وعدم اكتمال السجلات. وقيّد الاحتفاظ بالأدلة والوصول إليها حيثما تتطلب الخصوصية ذلك.

لا يضمن أي إعداد ترتيبًا أو زيارات أو استشهادات أو تحويلات. تستند هذه المقالة إلى مراجعة مصادر عامة، لا إلى تغيير فعلي في إعدادات Cloudflare، أو تطبيق لدى عميل، أو تجربة مضبوطة لتحسين محركات البحث. أبقِ النتائج غير المدعومة واضحة بدلًا من اعتبار الترحيل مكتملًا لكل موقع.