 |
| إنفيديا تطلق منصة لإيقاف وكلاء الذكاء الاصطناعي الخارجين عن السيطرة |
هذا السؤال أصبح أكثر أهمية خلال الفترة الأخيرة مع تزايد الاعتماد على ما يعرف باسم AI Agents، وهي أنظمة تستطيع استخدام الأدوات والملفات والإنترنت والبرمجيات لتنفيذ سلسلة من المهام بدلًا من الاكتفاء بتقديم إجابة للمستخدم.
وفي خطوة جديدة تعكس حجم هذا التغير، أعلنت شركة NVIDIA عن منصة مفتوحة جديدة تحمل اسم NVIDIA Open Agent Safety Platform، صممتها الشركة لتوفير طبقات إضافية من الحماية والرقابة على وكلاء الذكاء الاصطناعي منذ مرحلة الاختبار وحتى التشغيل الفعلي.
المنصة الجديدة لا تعتمد على برنامج واحد فقط، وإنما تجمع بين طبقة حماية برمجية باسم OpenShell ونظام مراقبة يعتمد على العتاد يحمل اسم Sentry، في محاولة لإنشاء حدود يصعب على الوكيل تجاوزها حتى إذا حاول تنفيذ تصرف خارج الصلاحيات المحددة له.
لماذا أطلقت NVIDIA منصة لحماية وكلاء الذكاء الاصطناعي؟
السبب الرئيسي يعود إلى التغير الكبير في طبيعة استخدام الذكاء الاصطناعي. ففي الماضي كان المستخدم يكتب سؤالًا ويحصل على إجابة، بينما أصبح الوكيل الحديث قادرًا على تنفيذ خطوات متتابعة باستخدام أدوات مختلفة.
على سبيل المثال، يمكن لوكيل ذكاء اصطناعي داخل شركة أن يقرأ طلبًا، يبحث عن المعلومات المطلوبة، يتعامل مع قاعدة بيانات، ينشئ ملفًا، يستدعي خدمة أخرى ثم يعرض النتيجة للمستخدم. وهنا تظهر المشكلة: كلما زادت صلاحيات الوكيل، زادت أهمية وجود نظام يستطيع مراقبة ما يفعله ومنعه من الوصول إلى موارد لم يحصل على إذن باستخدامها.
وتقول NVIDIA إن المنصة الجديدة تهدف إلى توفير حوكمة وتحكم على مستوى مجموعة كاملة من المكونات، بداية من البرمجيات التي تشغل الوكيل، مرورًا بالحوسبة والعتاد، وصولًا إلى الأنظمة التي يمكن أن تستخدم الوكلاء في العالم الحقيقي.
ما هي NVIDIA Open Agent Safety Platform؟
يمكن النظر إلى المنصة باعتبارها طبقة أمان تحيط بالوكيل بدل الاعتماد فقط على التعليمات الموجودة داخل نموذج الذكاء الاصطناعي.
وهذه النقطة مهمة للغاية، لأن الاعتماد على النموذج وحده لإجباره على الالتزام بالقواعد قد لا يكون كافيًا في جميع السيناريوهات. فإذا كان الوكيل يمتلك القدرة على استخدام ملفات أو أدوات أو واجهات برمجة تطبيقات، فمن الأفضل أن تكون هناك طبقة خارجية تستطيع فرض الحدود فعليًا.
ولهذا قسمت NVIDIA المنصة الجديدة إلى مكونات تعمل معًا، أبرزها OpenShell وSentry.
OpenShell.. الحاجز البرمجي حول وكيل الذكاء الاصطناعي
يعد OpenShell أحد أهم أجزاء المنصة الجديدة. وهو برنامج مفتوح المصدر يوفر بيئة تشغيل آمنة يمكن من خلالها وضع حدود واضحة لما يستطيع وكيل الذكاء الاصطناعي الوصول إليه وتنفيذه.
وبحسب NVIDIA، يعمل OpenShell كحد أمني يقع خارج نموذج الذكاء الاصطناعي نفسه، بحيث يستطيع تتبع أفعال الوكيل وتطبيق السياسات أثناء تنفيذ المهام.
وهذا يعني أن النظام لا يعتمد فقط على سؤال الوكيل أو إعطائه تعليمات مثل "لا تفعل كذا"، وإنما يمكن وضع قواعد تقنية تحدد الموارد التي يستطيع الوصول إليها.
وتشير NVIDIA إلى أن OpenShell متاح كبرنامج مفتوح المصدر، كما صمم ليكون قابلًا للعمل مع منصات حوسبة أخرى، بما في ذلك منصات تعتمد على تقنيات Arm وIntel.
وهذا الجانب قد يكون مهمًا للمطورين والشركات التي لا تريد بناء نظام حماية كامل من الصفر عند إدخال وكلاء الذكاء الاصطناعي في منتجاتها.
Sentry.. عندما يدخل العتاد في حماية الذكاء الاصطناعي
الجزء الأكثر إثارة في منصة NVIDIA الجديدة هو Sentry. فبدل أن تكون الحماية موجودة داخل طبقة البرامج فقط، تستخدم NVIDIA نظامًا يعتمد على عتاد مخصص للمراقبة.
توضح الشركة أن Sentry يعمل باستخدام NVIDIA BlueField-4 DPU، ويعمل كجهة مراقبة مستقلة يمكنها متابعة نشاط الوكيل وتطبيق سياسات الحماية.
وتقول NVIDIA إن Sentry يستطيع عزل وإيقاف الوكيل إذا حاول الخروج عن الحدود البرمجية المحددة له، مع قدرة على تنفيذ إجراءات الحماية خلال وقت قصير جدًا.
الفكرة هنا تشبه إضافة حارس مستقل إلى النظام؛ فالوكيل يعمل وينفذ مهامه، لكن هناك طبقة أخرى تراقب ما يحدث ولا تعتمد على الوكيل نفسه حتى تقرر ما إذا كان التصرف مسموحًا أم لا.
لماذا لا تعتمد NVIDIA على الذكاء الاصطناعي نفسه للحماية؟
قد يبدو الأمر غريبًا في البداية: إذا كان لدينا ذكاء اصطناعي قادر على اتخاذ قرارات، فلماذا نحتاج إلى طبقة أخرى لمراقبته؟
الإجابة تكمن في مبدأ أمني بسيط: لا تجعل النظام المسؤول عن تنفيذ المهمة هو نفسه المسؤول الوحيد عن مراقبة نفسه.
وكلما أصبح الوكيل أكثر استقلالية، أصبحت الحاجة إلى وجود حدود خارجية أكثر أهمية، خصوصًا عندما يحصل الوكيل على صلاحيات للتعامل مع بيانات حساسة أو أدوات داخل الشركات.
وهذا الاتجاه يفسر أيضًا لماذا أصبحت شركات التكنولوجيا تتحدث بشكل متزايد عن أمن الوكلاء وليس فقط أمن نماذج الذكاء الاصطناعي التقليدية.
وكلاء الذكاء الاصطناعي أصبحوا أكثر استقلالية
خلال الفترة الماضية ظهرت خدمات وتجارب عديدة تدفع الذكاء الاصطناعي في اتجاه مختلف. بدل أن يكون المستخدم هو من ينفذ كل خطوة، يبدأ الوكيل في تنفيذ مجموعة من الإجراءات نيابة عنه.
ومن الأمثلة على ذلك تجربة Google CC التي نشرت عنها تك ستار سابقًا، والتي تعتمد على وكيل قادر على التعامل مع معلومات من البريد والتقويم والمهام والمستندات للمساعدة في تنظيم أعمال الأسرة.
اقرأ أيضًا: جوجل تطلق Google CC.. وكيل ذكاء اصطناعي جديد يدير مهام العائلة بدلًا منك
هذا النوع من الخدمات يوضح لماذا أصبحت مسألة الصلاحيات مهمة جدًا. فإذا كان الوكيل قادرًا على قراءة معلومات من أكثر من خدمة وتنفيذ إجراءات فعلية، فإن السؤال لم يعد فقط "هل يستطيع الذكاء الاصطناعي فهم المهمة؟"، بل أصبح أيضًا "ما الذي يُسمح له بفعله أثناء تنفيذها؟".
من Chatbot إلى Agent.. ما الفرق؟
روبوت المحادثة التقليدي يعمل غالبًا داخل حدود المحادثة. تكتب سؤالًا، ويقدم لك إجابة.
أما وكيل الذكاء الاصطناعي، فيمكنه أن يحصل على هدف ثم يستخدم مجموعة من الأدوات للوصول إلى النتيجة. وهنا يصبح الوكيل أكثر فائدة، لكنه في الوقت نفسه يصبح أكثر حساسية من الناحية الأمنية.
فإذا كان المساعد قادرًا على كتابة رسالة فقط، فإن الخطأ قد يكون محدودًا. أما إذا كان الوكيل يستطيع إرسال الرسالة بنفسه أو تعديل ملف أو استخدام خدمة خارجية، فإن الخطأ قد يؤدي إلى نتيجة فعلية.
حادث أمني يوضح سبب أهمية حماية الوكلاء
إطلاق NVIDIA لمنصتها يأتي في وقت تتزايد فيه المخاوف حول سلوك الوكلاء المستقلين. وقد أشارت Reuters إلى أن NVIDIA قالت إن أدواتها الجديدة كان من الممكن أن تمنع حادثة اختراق مرتبطة بمنصة Hugging Face، وهي حادثة ارتبطت بسلوك وكيل ذكاء اصطناعي خارج الحدود المتوقعة.
المهم هنا أن القضية لا تتعلق فقط بالبرمجيات الخبيثة التقليدية، وإنما بالوكلاء الذين يمكنهم استخدام أدوات رقمية وتنفيذ سلسلة من الإجراءات. وهذا النوع من الأنظمة يحتاج إلى نموذج أمني مختلف عن التطبيقات التقليدية.
ولا يعني ذلك أن كل وكيل ذكاء اصطناعي يمثل خطرًا أو أن الوكلاء سيخرجون عن السيطرة تلقائيًا، وإنما يعني أن زيادة الصلاحيات يجب أن تترافق مع زيادة مستوى الرقابة والحماية.
هل يمكن لوكيل الذكاء الاصطناعي تجاوز القيود؟
من الناحية التقنية، توجد عدة طرق يمكن أن تحدث بها مشكلات عندما يحصل الوكيل على صلاحيات واسعة. قد يحاول تنفيذ إجراء لم يكن مطور النظام يتوقعه، أو يتعامل مع أداة بطريقة مختلفة عن الاستخدام المقصود، أو يستغل صلاحية متاحة له للوصول إلى مورد آخر.
ولهذا تعتمد أنظمة الأمان الحديثة على مفهوم تقليل الصلاحيات. أي أن الوكيل يحصل فقط على القدرات التي يحتاج إليها لإنجاز المهمة، وليس وصولًا مفتوحًا إلى كل شيء.
وتحاول منصة NVIDIA إضافة طبقات أخرى إلى هذا المفهوم من خلال المراقبة والتتبع وفرض السياسات أثناء التشغيل.
ماذا يعني ذلك للمطورين؟
بالنسبة للمطور، ظهور أدوات مثل OpenShell يعني أن بناء تطبيق يعتمد على وكيل ذكاء اصطناعي لن يكون مجرد اختيار نموذج قوي وربطه بواجهة المستخدم.
ستصبح هناك أسئلة أمنية يجب الإجابة عنها منذ البداية:
- ما الملفات التي يستطيع الوكيل الوصول إليها؟
- هل يستطيع الاتصال بالإنترنت؟
- ما واجهات البرمجة التي يمكنه استخدامها؟
- هل يستطيع تنفيذ أوامر دون موافقة المستخدم؟
- كيف يتم تسجيل نشاطه؟
- ماذا يحدث إذا حاول تجاوز صلاحياته؟
- هل توجد طريقة مستقلة لإيقافه؟
هذه الأسئلة قد تصبح جزءًا أساسيًا من عملية تطوير التطبيقات التي تعتمد على الذكاء الاصطناعي خلال السنوات المقبلة.
وماذا عن الشركات؟
الشركات هي إحدى أكثر الجهات التي قد تستفيد من هذه التقنيات، وفي الوقت نفسه تحتاج إلى التعامل معها بحذر.
تخيل مؤسسة تمنح وكيل ذكاء اصطناعي صلاحية التعامل مع البريد والملفات وقواعد البيانات وأنظمة خدمة العملاء. الوكيل قد يوفر ساعات طويلة من العمل، لكن الخطأ في الصلاحيات قد يكون مكلفًا.
لهذا تحتاج المؤسسات إلى معرفة ما يفعله الوكيل في كل مرحلة، مع وجود سجلات وموافقات وحدود واضحة.
وهنا تصبح منصات الحماية التي تعمل خارج نموذج الذكاء الاصطناعي نفسه جزءًا مهمًا من البنية الأمنية.
الذكاء الاصطناعي يدخل أيضًا في سباق الشرائح
الاهتمام بالعتاد ليس مفاجئًا، فالذكاء الاصطناعي أصبح مرتبطًا بشكل مباشر بتطور مراكز البيانات والمعالجات والشرائح المتخصصة.
وقد تحدثنا في تك ستار عن دخول شركات مثل Qualcomm وAmazon بقوة إلى سوق شرائح الذكاء الاصطناعي ومنافسة اللاعبين الكبار في هذا المجال.
اقرأ أيضًا: كوالكوم وأمازون تدخلان سباق شرائح الذكاء الاصطناعي.. هل تهددان هيمنة إنفيديا؟
لكن التطور الجديد من NVIDIA يضيف جانبًا مختلفًا إلى المنافسة؛ فالقضية لم تعد فقط من يستطيع توفير أسرع عتاد لتشغيل الذكاء الاصطناعي، وإنما أيضًا من يستطيع توفير بنية أكثر أمانًا لتشغيل الوكلاء.
هل منصة NVIDIA تمنع جميع مخاطر وكلاء AI؟
لا. وهذه نقطة مهمة حتى لا يتم فهم الإعلان بصورة مبالغ فيها.
منصة NVIDIA توفر طبقات من التحكم والحماية، لكنها لا تعني أن كل المخاطر المتعلقة بالذكاء الاصطناعي اختفت.
هناك مخاطر أخرى تتعلق بتصميم التطبيقات، وإدارة الصلاحيات، وجودة البيانات، وسلوك المستخدم، والهجمات الاجتماعية، والأخطاء البرمجية، وطريقة دمج الوكيل داخل المؤسسة.
كما أن أي نظام أمني يحتاج إلى تحديث مستمر مع ظهور أساليب جديدة للهجوم.
هل سيتغير شكل الأمن السيبراني بسبب وكلاء الذكاء الاصطناعي؟
من الواضح أن الإجابة تتجه نحو نعم. فالأمن السيبراني لم يعد يتعامل فقط مع مستخدمين وبرامج وخوادم، وإنما بدأ يتعامل أيضًا مع أنظمة قادرة على اتخاذ خطوات متعددة بصورة آلية.
وهذا يضيف طبقة جديدة من التعقيد. فبدل مراقبة جهاز أو برنامج فقط، قد تحتاج المؤسسة إلى مراقبة "سلوك" وكيل كامل أثناء تنفيذه للمهمة.
وهنا يمكن أن تصبح تقنيات تسجيل النشاط والتحقق من الهوية وإدارة الصلاحيات والمراقبة المستمرة أكثر أهمية.
كيف تحمي نفسك من المخاطر المرتبطة بالذكاء الاصطناعي؟
رغم أن منصة NVIDIA تستهدف بدرجة كبيرة الشركات والمطورين والبنية التحتية، فإن المستخدم العادي يمكنه الاستفادة من نفس المبادئ الأمنية.
لا تمنح التطبيقات صلاحيات غير ضرورية
إذا طلب تطبيق ذكاء اصطناعي الوصول إلى ملفات أو جهات اتصال أو حسابات لا يحتاج إليها لأداء مهمته، فمن الأفضل مراجعة السبب قبل الموافقة.
استخدم المصادقة الثنائية
تفعيل المصادقة الثنائية يقلل من تأثير تسريب كلمة المرور، خصوصًا في الحسابات التي تحتوي على بيانات شخصية أو ملفات مهمة.
انتبه للرسائل والروابط التي تبدو حقيقية
يمكن استخدام الذكاء الاصطناعي في إنشاء رسائل أكثر إقناعًا، لذلك لا تعتمد فقط على شكل الرسالة أو خلوها من الأخطاء الإملائية للحكم على أنها آمنة.
ويمكنك أيضًا مراجعة دليلنا السابق: كيف تكتشف الرابط المزيف قبل الضغط عليه؟ 10 علامات تحميك من الاختراق
ماذا علاقة Cloudflare بكل هذا؟
هناك تطور آخر مهم يحدث بالتوازي مع انتشار وكلاء الذكاء الاصطناعي، وهو تغير طريقة تعامل مواقع الإنترنت مع برامج الزحف والوكلاء.
فقد أصبحت المواقع لا تتعامل فقط مع محركات البحث التقليدية، وإنما مع برامج ذكاء اصطناعي يمكنها الوصول إلى صفحات الويب نيابة عن المستخدم أو استخدام المحتوى لأغراض مختلفة.
ولهذا أعلنت Cloudflare عن أدوات تفرق بين زحف البحث وزحف تدريب نماذج الذكاء الاصطناعي ووصول وكلاء AI.
اقرأ أيضًا: Cloudflare تفصل بين Google والذكاء الاصطناعي.. قرار جديد يهم كل صاحب موقع
هذا التطور يوضح أن عصر وكلاء الذكاء الاصطناعي لا يغير التطبيقات فقط، بل بدأ يغير الطريقة التي يتعامل بها الإنترنت نفسه مع الآلات التي تزوره.
هل نحن أمام إنترنت جديد؟
ربما يكون هذا هو السؤال الأهم.
الإنترنت الذي اعتدنا عليه كان مبنيًا بشكل أساسي على فكرة أن الإنسان يفتح موقعًا، يقرأ المعلومات، يضغط على الروابط ثم ينفذ المهمة بنفسه.
أما مع وكلاء الذكاء الاصطناعي، فقد يصبح السيناريو مختلفًا. يمكن للمستخدم أن يعطي الوكيل هدفًا، ثم يتولى الوكيل البحث والتنقل بين الخدمات وتنفيذ بعض الخطوات.
وهذا يعني أن المواقع والتطبيقات ومراكز البيانات يجب أن تتعامل مستقبلًا مع عدد متزايد من البرمجيات التي لا تتصرف مثل المستخدم البشري التقليدي.
ومن هنا تأتي أهمية أدوات مثل منصة NVIDIA الجديدة، لأن البنية التحتية نفسها تحتاج إلى أن تتطور بالتوازي مع تطور قدرات الذكاء الاصطناعي.
ماذا نتوقع خلال الفترة المقبلة؟
من المرجح أن نشهد منافسة قوية بين شركات الذكاء الاصطناعي وشركات البنية التحتية والأمن السيبراني لتطوير طرق أفضل للتحكم في الوكلاء.
وقد تظهر معايير جديدة تحدد كيف يحصل الوكيل على الصلاحيات، وكيف يتم تسجيل أفعاله، وكيف يمكن إيقافه، وكيف تستطيع الشركات معرفة ما إذا كان التصرف الذي نفذه الوكيل متوافقًا مع المهمة المطلوبة أم لا.
كما أن أدوات الحماية قد تصبح جزءًا أساسيًا من منصات تشغيل الوكلاء، تمامًا كما أصبحت أنظمة الحماية والمراقبة جزءًا أساسيًا من تشغيل الخوادم والتطبيقات الحديثة.
اقرأ أيضًا: جوجل تكشف Googlebook: لابتوب جديد بذكاء Gemini وتجربة مختلفة
الخلاصة: سباق جديد بين قدرات AI وأمان AI
إعلان NVIDIA عن Open Agent Safety Platform يعكس مرحلة جديدة في تطور الذكاء الاصطناعي. فالشركات لم تعد تبحث فقط عن نماذج أكثر ذكاءً، وإنما أصبحت تبحث أيضًا عن طرق تجعل هذه النماذج والوكلاء الذين يعتمدون عليها أكثر قابلية للتحكم والمراقبة.
الجديد في منصة NVIDIA هو الجمع بين الحماية البرمجية من خلال OpenShell والمراقبة المعتمدة على العتاد من خلال Sentry، بما يوفر طبقات متعددة للتحكم في نشاط الوكلاء.
لكن الأهم من المنصة نفسها هو الاتجاه الذي تكشف عنه: كلما أصبح الذكاء الاصطناعي أكثر قدرة على تنفيذ المهام بنفسه، أصبحت الحاجة إلى حدود واضحة وصلاحيات دقيقة ومراقبة مستقلة أكثر أهمية.
وبالنسبة للمستخدم العادي، لا يعني هذا أن عليه القلق من كل أداة ذكاء اصطناعي يستخدمها، وإنما يعني أن التعامل مع الصلاحيات والبيانات أصبح جزءًا أساسيًا من الثقافة الرقمية الحديثة.
أما بالنسبة للمطورين والشركات، فقد تصبح عبارة "ماذا يستطيع الوكيل أن يفعل؟" مرتبطة دائمًا بسؤال آخر لا يقل أهمية: "وماذا سيحدث إذا حاول أن يفعل شيئًا لم نسمح له به؟"
أسئلة شائعة
ما هي منصة NVIDIA Open Agent Safety Platform؟
هي منصة أعلنت عنها NVIDIA لتوفير طبقات من الحماية والحوكمة لوكلاء الذكاء الاصطناعي، وتجمع بين أدوات برمجية ومرجعية تعتمد على العتاد لمراقبة نشاط الوكلاء والتحكم في صلاحياتهم.
ما هو NVIDIA OpenShell؟
OpenShell هو برنامج مفتوح المصدر يوفر بيئة تشغيل وحدودًا أمنية حول وكلاء الذكاء الاصطناعي، ويساعد على تتبع أفعال الوكيل وتطبيق السياسات أثناء تشغيله.
ما هو NVIDIA Sentry؟
Sentry هو نظام مراقبة يعتمد على NVIDIA BlueField-4 DPU، صممته NVIDIA لمراقبة سلوك الوكلاء وتطبيق إجراءات الحماية بشكل مستقل عن بيئة تشغيل الوكيل.
هل منصة NVIDIA متاحة للمطورين؟
تقول NVIDIA إن مكونات المنصة البرمجية، ومنها OpenShell، متاحة عبر موارد المطورين وGitHub، بينما يعتمد استخدام مكونات العتاد على البنية التحتية المتوافقة.
هل وكلاء الذكاء الاصطناعي خطرون؟
ليس بالضرورة. الوكلاء يمكن أن يقدموا فوائد كبيرة في الإنتاجية والأتمتة، لكن زيادة قدرتهم على تنفيذ المهام تعني ضرورة وجود صلاحيات محددة ومراقبة مناسبة، خصوصًا عند التعامل مع بيانات حساسة أو أنظمة مهمة.
هل ستؤثر هذه التقنية على المستخدم العادي؟
بشكل غير مباشر نعم، لأن انتشار الوكلاء سيغير طريقة استخدام التطبيقات والإنترنت، وقد يؤدي إلى ظهور أنظمة جديدة لإدارة الصلاحيات والخصوصية والأمان.
