العلامة التقنية

موقع تقني عربي متخصص في أخبار التكنولوجيا والذكاء الاصطناعي

إطلاق إطار أمني متعدد الطبقات لحماية الوكلاء الذكيين من المخاطر

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي
إطلاق إطار أمني متعدد الطبقات لحماية الوكلاء الذكيين من المخاطر

يقدم باحثون من جامعة تسينغوا ومجموعة أنتين إطارًا أمنيًا لحماية الوكلاء الذكيين مثل OpenClaw من المخاطر المتعددة.

أصبح الوكلاء الذكيون المستقلون، مثل OpenClaw، يمثلون تحولًا جذريًا في كيفية تفاعل الأنظمة مع المستخدمين. بدلاً من أن يكونوا مساعدين سلبين، أصبح بإمكانهم الآن تنفيذ مهام معقدة وطويلة الأمد من خلال الوصول إلى أنظمة ذات امتيازات عالية. ومع ذلك، كشف تقرير بحثي من جامعة تسينغوا ومجموعة أنتين عن وجود ثغرات أمنية في بنية OpenClaw، التي تعتمد على هيكلية "kernel-plugin"، موضحين كيف يمكن أن تتعرض هذه الأنظمة لمخاطر نظامية متعددة.

البنية المعمارية لـ OpenClaw

تستخدم OpenClaw هيكلية "kernel-plugin" التي تفصل بين المنطق الأساسي والوظائف القابلة للتوسيع. يتم تعريف قاعدة الثقة في النظام (TCB) بواسطة pi-coding-agent، وهو نواة بسيطة مسؤولة عن إدارة الذاكرة، تخطيط المهام، وتنسيق التنفيذ. يتحكم هذا TCB في نظام بيئي قابل للتوسع من الإضافات الخارجية، أو "المهارات"، التي تمكن الوكيل من تنفيذ عمليات ذات امتيازات عالية مثل البرمجة الآلية وإدارة النظام.

إطار أمني مكون من خمس طبقات

لتعزيز الأمان، اقترح فريق البحث إطارًا أمنيًا مكونًا من خمس طبقات تغطي جميع مراحل دورة حياة الوكيل، بما في ذلك:

  • التهيئة: يقوم الوكيل بإنشاء بيئة التشغيل وحدود الثقة من خلال تحميل التوجيهات الأمنية والإضافات.
  • المدخلات: يتم استيعاب البيانات المتعددة الوسائط، مما يتطلب من الوكيل التمييز بين التعليمات الموثوقة والمصادر الخارجية غير الموثوقة.
  • الاستدلال: يستخدم الوكيل تقنيات مثل "Chain-of-Thought" للحفاظ على الذاكرة السياقية.
  • القرار: يختار الوكيل الأدوات المناسبة ويولد معلمات التنفيذ عبر أطر التخطيط.
  • التنفيذ: يتم تحويل الخطط عالية المستوى إلى إجراءات نظامية ذات امتيازات، مما يتطلب آليات تحكم صارمة.

دراسات حالة فنية في اختراق الوكلاء

استعرض البحث عدة سيناريوهات توضح كيفية استغلال الثغرات في كل مرحلة من مراحل دورة حياة الوكيل:

1. تسميم المهارات (مرحلة التهيئة)

يستهدف تسميم المهارات الوكيل قبل أن يبدأ المهمة. أظهر الفريق كيف يمكن للمهاجمين إدخال مهارات خبيثة تتلاعب بواجهة توجيه المهارات. على سبيل المثال، تم إجبار OpenClaw على إنشاء مهارة خبيثة تُسمى "hacked-weather".

2. حقن التعليمات غير المباشرة (مرحلة المدخلات)

يتمكن المهاجمون من تضمين تعليمات خبيثة داخل المحتوى الخارجي. عندما يسترجع الوكيل الصفحة لتلبية طلب المستخدم، تتجاوز الحمولة الأصلية.

3. تسميم الذاكرة (مرحلة الاستدلال)

نظرًا لأن OpenClaw يحافظ على حالة مستمرة، فإنه عرضة للتلاعب السلوكي على المدى الطويل. يمكن للمهاجم إضافة قاعدة مزيفة تمنع الوكيل من الاستجابة لاستفسارات معينة.

4. انحراف النية (مرحلة القرار)

يحدث انحراف النية عندما تؤدي سلسلة من الاتصالات المحلية المبررة إلى نتيجة مدمرة على مستوى النظام.

5. تنفيذ الأوامر عالية المخاطر (مرحلة التنفيذ)

تمثل هذه المرحلة تحقيق الهجوم حيث تؤدي التهديدات السابقة إلى تأثير ملموس على النظام.

التوصيات لتحسين الأمان

اقترح فريق البحث تحسين الأمان من خلال تنفيذ آليات متكاملة بدلاً من الحلول المتناثرة الحالية. يجب أن تشمل هذه الحلول:

  • تحليل ديناميكي وثابت للكود.
  • التوقيعات التشفيرية للتحقق من سلامة الإضافات.
  • آليات تحكم صارمة على الوصول.

تعتبر هذه الجهود ضرورية لضمان أمان الوكلاء الذكيين المستقلين وتجنب المخاطر النظامية التي قد تؤثر على الأداء.

المصدر: MarkTechPost

أحدث في الذكاء الاصطناعي

مقالات سابقة في الذكاء الاصطناعي