Cloudflare تفصل بين Google والذكاء الاصطناعي.. قرار جديد يهم كل صاحب موقع

الشركة قدمت إعدادًا جديدًا يسمح لصاحب الموقع بالتمييز بين زحف محركات البحث وبين الزحف بهدف تدريب نماذج الذكاء الاصطناعي، بحيث يمكن للموقع أن يظل قابلًا للاكتشاف في نتائج البحث، مع منع استخدام محتواه في تدريب نماذج AI

ما المشكلة التي تحاول Cloudflare حلها؟

المشكلة ظهرت مع ما يسمى Mixed-Use Crawlers، وهي برامج زحف يمكن أن تستخدم للوصول إلى المحتوى لأكثر من غرض، مثل بناء فهرس لمحرك بحث وفي الوقت نفسه استخدام المحتوى لأغراض تدريب الذكاء الاصطناعي.

وهذا كان يضع أصحاب المواقع أمام اختيار صعب: إذا منعوا الزاحف بالكامل، فقد يخسرون إمكانية ظهور محتواهم في البحث، وإذا سمحوا له بالوصول، فقد يصبح المحتوى متاحًا أيضًا لأغراض أخرى لا يرغبون فيها.

Cloudflare تقول إن الإعداد الجديد صُمم تحديدًا للتعامل مع هذه المشكلة.

ما الذي أعلنت عنه Cloudflare بالضبط؟

الإعداد الجديد يحمل اسم Disallow AI Training، وهو يسمح للموقع بإرسال تفضيل واضح بعدم استخدام المحتوى في تدريب نماذج الذكاء الاصطناعي.

وفي الوقت نفسه، يمكن للزواحف التي تلتزم بسياسات Cloudflare الجديدة أن تستمر في الوصول إلى الموقع لأغراض البحث، وبالتالي لا يصبح منع التدريب مساويًا تلقائيًا لمنع ظهور الموقع في محركات البحث.

وتقول Cloudflare إن Apple وGoogle وMicrosoft مصنفون ضمن مشغلي الزحف الذين يستوفون معاييرها الجديدة للمساءلة، مع التزامات تتعلق باحترام تفضيلات أصحاب المواقع والشفافية.

Search وTraining وAgent.. ما الفرق؟

Cloudflare أصبحت تميز بين ثلاثة أنواع رئيسية من سلوك الزواحف:

• Search: الزحف بهدف بناء فهرس لمحركات البحث.
• Training: الوصول إلى المحتوى بهدف تدريب أو تحسين نماذج الذكاء الاصطناعي.
• Agent: وصول وكيل ذكاء اصطناعي إلى صفحة نيابة عن مستخدم لتنفيذ مهمة أو الحصول على معلومات.

وهذا الفصل مهم لأن السماح لمحرك بحث بالوصول إلى موقعك لا يعني بالضرورة أنك تريد السماح باستخدام المحتوى نفسه لتدريب نموذج ذكاء اصطناعي.

هل منع AI Training سيمنع ظهور الموقع في Google؟

ليس بالضرورة.

هذه هي النقطة الأهم في الإعلان.

Cloudflare تقول إن اختيار Disallow AI Training يسمح للزواحف المصنفة كجهات ملتزمة بسياساتها بمواصلة الوصول لأغراض البحث، بينما يتم منع زواحف التدريب التي لا تملك هذا الفصل أو لا تحترم التفضيلات.

لكن اختيار Block شيء مختلف تمامًا؛ لأنه يمنع الزاحف من الوصول، وبالتالي قد يؤثر أيضًا في إمكانية اكتشاف الموقع عبر البحث.

وهنا يجب التفريق بين منع تدريب AI وبين منع Google من الزحف. ملف robots.txt يمكنه تحديد الأجزاء التي تستطيع برامج الزحف الوصول إليها، وتوضح Google أن Googlebot يلتزم بقواعد robots.txt عند الزحف الآلي.

ماذا يحدث داخل robots.txt؟

من التفاصيل التقنية المهمة أن Cloudflare تستخدم إعداد Disallow AI Training لنشر تفضيل متعلق بعدم التدريب داخل ملف robots.txt عبر نظامها الجديد Bot Preference Sync.

الفكرة أن الموقع يعلن تفضيله مرة واحدة، ثم يمكن للزواحف المتوافقة مع هذه السياسة احترامه بدل إجبار صاحب الموقع على التعامل مع كل مشغل AI بشكل منفصل.

هل robots.txt وحده قادر على منع الذكاء الاصطناعي؟

هنا توجد نقطة مهمة جدًا.

Cloudflare نفسها تقول إن robots.txt وحده ليس حلًا كاملًا؛ لأنه يعلن تفضيل صاحب الموقع، لكنه لا يستطيع بمفرده التأكد من هوية كل زاحف أو معرفة الغرض الحقيقي من الزيارة، كما أن الزاحف الذي يتجاهل القواعد يمكنه ببساطة عدم احترامها.

لهذا تعتمد Cloudflare على طبقة شبكية تستطيع من خلالها التعرف على سلوك الزواحف وتصنيفها، ثم تطبيق السياسة المناسبة عليها.

ماذا عن ChatGPT وOpenAI وباقي شركات AI؟

بحسب Cloudflare، فإنها تصنف الزواحف ذات الصلة من Amazon وAnthropic وMeta وOpenAI ضمن الجهات التي تفصل بين زواحف البحث والتدريب، وبالتالي يمكن منع زاحف التدريب دون التأثير على زاحف البحث عندما تكون السياسات منفصلة.

لكن هذا لا يعني أن كل وكيل ذكاء اصطناعي في الإنترنت سيخضع تلقائيًا لنفس القواعد؛ فCloudflare توضح أن عالم وكلاء AI لا يزال يفتقر إلى معيار موحد ومستقر للتعامل مع تفضيلات المنع الخاصة بهم.

لماذا أصبح الموضوع مهمًا الآن؟

لأن طريقة استخدام الإنترنت تتغير بسرعة.

في الماضي كان النموذج بسيطًا نسبيًا: موقع ينشر محتوى، ومحرك بحث يزحف إليه، ثم يأتي المستخدم من نتائج البحث إلى الموقع.

أما الآن، فقد يستطيع نظام ذكاء اصطناعي الوصول إلى المحتوى، تلخيصه للمستخدم، أو استخدامه كجزء من عملية تدريب نموذج أو تنفيذ مهمة نيابة عن شخص.

وهذا يطرح سؤالًا جديدًا لأصحاب المواقع: هل أريد أن يجدني محرك البحث؟ نعم. هل أريد أن يستخدم أي نظام AI محتواي لأي غرض؟ ليس بالضرورة.

Cloudflare تريد تغيير هذه المعادلة

Cloudflare تشير إلى أن أقل من 1% من المواقع لديها اختيار يمنع زحف محركات البحث، بينما نسبة أكبر بكثير من المواقع تستخدم آليات لمنع استخدام المحتوى في تدريب نماذج الذكاء الاصطناعي.

وبحسب بيانات الشركة، فإن 17% من المواقع تختار آلية ما لمنع التدريب، وهو ما تستخدمه Cloudflare لتوضيح الحاجة إلى تحكم أكثر دقة بدل زر واحد يحمل اسم حظر  AI

وماذا يعني هذا لأصحاب المدونات؟

إذا كنت تدير مدونة أو موقعًا يعتمد على المحتوى الأصلي، فالموضوع يستحق المتابعة، خصوصًا مع تزايد اعتماد المستخدمين على إجابات الذكاء الاصطناعي بدل زيارة عشرات صفحات الويب.

وهنا تصبح العلاقة بين Google والذكاء الاصطناعي وصاحب الموقع أكثر تعقيدًا من مجرد السماح أو المنع.

وبالنسبة لأصحاب مدونات Blogger، من المهم أيضًا فهم أساسيات الزحف والفهرسة قبل التفكير في منع أي نوع من برامج الزحف. ويمكنك مراجعة دليلنا السابق:

لماذا لا تظهر مدونة بلوجر في جوجل؟ 20 خطوة لحل مشكلة الأرشفة

هل تحتاج إلى تغيير robots.txt في موقعك الآن؟

لا.

مجرد قراءة خبر Cloudflare لا يعني أنك يجب أن تذهب وتغير ملف robots.txt الخاص بموقعك.

أي تعديل غير مدروس على هذا الملف يمكن أن يؤثر في وصول محركات البحث إلى صفحات موقعك، ولذلك يجب فهم القاعدة والهدف منها قبل استخدامها.

Google توضح أن robots.txt يتحكم في قدرة برامج الزحف على الوصول إلى أجزاء معينة من الموقع، ولذلك يجب التعامل معه بحذر.

ولو كنت تستخدم Blogger مثل TechStar، فالأفضل عدم إضافة قواعد عشوائية لمجرد منع AI قبل وجود سبب واضح وفهم تأثيرها على الزحف والفهرسة.

ماذا بعد؟

Cloudflare تقول إن خطوتها الحالية ليست نهاية القصة.

الشركة تعمل أيضًا على إعطاء أصحاب المواقع تحكمًا أكبر في كمية المحتوى التي يمكن أن تظهر داخل ملخصات الذكاء الاصطناعي، بدل أن يكون الاختيار مجرد السماح أو المنع الكامل.

وبحسب إعلان الشركة، تستهدف Cloudflare إتاحة تحكم أكبر في كمية المحتوى المستخدمة في هذه الملخصات خلال العام المقبل.

الخلاصة

إعلان Cloudflare يعكس مشكلة جديدة في عالم الإنترنت: صاحب الموقع يريد الظهور في البحث، لكنه يريد في الوقت نفسه أن يملك قرارًا أكبر بشأن الطريقة التي يُستخدم بها محتواه بواسطة الذكاء الاصطناعي.

والحل الجديد يحاول فصل ثلاثة أشياء كانت تختلط في السابق: البحث، وتدريب نماذج AI، ووكلاء الذكاء الاصطناعي.

إذا نجحت هذه الفكرة وانتشرت معاييرها بين المزيد من الشركات، فقد نرى خلال السنوات القادمة إنترنت يعطي أصحاب المحتوى تحكمًا أكبر بكثير في كيفية وصول الآلات إلى ما ينشرونه.

ملاحظة: إعدادات الزحف وسياسات شركات الذكاء الاصطناعي تتغير بسرعة، لذلك يُنصح بالرجوع إلى المصادر الرسمية عند اتخاذ أي قرار يتعلق بمنع برامج الزحف أو تعديل robots.txt.