ميتاآي تطلق هيبرagents جديدة تعيد كتابة قواعد التعلم الذاتي

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ٢٤ مارس ٢٠٢٦

أحياناً، يبدو أن حلم تحسين الذات المتكرر في الذكاء الاصطناعي—حيث لا يتحسن النظام في أداء مهمة فقط، بل يتحسن في كيفية التعلم—كان بمثابة "الكأس المقدسة" في هذا المجال. لطالما وُجدت نماذج نظرية مثل آلة غودل (Gödel Machine) لعقود، لكنها ظلت غير عملية إلى حد كبير في البيئات الواقعية. ولكن الأمور تغيرت مع آلة غودل داروين (Darwin Gödel Machine) التي أثبتت أن التحسين الذاتي المفتوح ممكن في الترميز.

ومع ذلك، واجهت آلة غودل داروين عقبة كبيرة: كانت تعتمد على آلية مستوى ميتا ثابتة ومصممة يدوياً لتوليد تعليمات التحسين. هذا قيد نمو النظام ضمن حدود وكيل الميتا المصمم بشرياً. لذلك، تعاون باحثون من جامعة كولومبيا البريطانية، ومعهد فيكتور، وجامعة إدنبرة، وجامعة نيويورك، وكندا CIFAR AI Chair، وFAIR في ميتا، ومختبرات ميتا سوبرينتليجنس لتقديم "هيبرagents".

مفهوم هيبرagents

تقدم هذه الإطار مفهوم تعديل مستوى الميتا ليكون قابلاً للتعديل، مما يزيل الفرضية بأن أداء المهمة ومهارات التعديل الذاتي يجب أن تكون متوافقة مع المجال. وهذا يعني أن الأنظمة الجديدة يمكنها أن تحقق تحسينات ذاتية في مجموعة متنوعة من المجالات، وليس فقط في البرمجة.

تحدي الانحدار اللانهائي في المستويات الميتا

تتمثل المشكلة في الأنظمة الحالية التي تحسن نفسها في ما يُعرف بـ "الانحدار اللانهائي". إذا كان لديك وكيل مهام (الذي يحل المشكلة) ووكيل ميتا (الذي يحسن وكيل المهام)، فمن يحسن وكيل الميتا؟ إن إضافة "طبقة ميتا-ميتا" لا تحل المشكلة، بل تنقلها لأعلى. علاوة على ذلك، اعتمدت الأنظمة السابقة على توافق بين المهمة وعملية التحسين.

هيبرagents: برنامج واحد قابل للتعديل

تعالج إطار عمل DGM-Hyperagent (DGM-H) هذه المشكلة من خلال دمج وكيل المهام ووكيل الميتا في برنامج واحد قابل للتعديل بالكامل. في هذه البنية، يُعرف الوكيل بأنه أي برنامج قابل للحساب يمكن أن يتضمن مكالمات نموذج أساسي (FM) وأدوات خارجية. حيث أن وكيل الميتا هو جزء من نفس قاعدة التعليمات البرمجية القابلة للتعديل مثل وكيل المهام، يمكنه إعادة كتابة إجراءات التعديل الخاصة به، مما يعرف باسم "التعديل الذاتي الميتا-معرفي".

نتائج مذهلة في مجالات متنوعة

اختبر الفريق البحثي DGM-H عبر مجالات متنوعة، بما في ذلك البرمجة، مراجعة الأوراق، تصميم مكافآت الروبوتات، وتصحيح الرياضيات على مستوى الأولمبياد. في مجال تصميم مكافآت الروبوتات، كان مطلوباً من الهيبرagent تصميم وظائف مكافأة بلغة بايثون لتدريب روبوت رباعي الأرجل في محاكي جنيسيس. أثناء مرحلة التدريب، كان يجب على الوكلاء تصميم مكافآت للمشي للأمام.

خلال اختبار التحصيل، كان على الوكلاء إنشاء وظائف مكافأة جديدة لمهمة مختلفة: تعظيم ارتفاع جذع الروبوت. حيث ارتفعت درجات أداء DGM-H من 0.060 إلى 0.372، مما يدل على اكتشاف وظائف مكافأة غير تقليدية تحفز سلوك القفز، وهو إستراتيجية أكثر كفاءة من مجرد الوقوف في مكانه.

هياكل التحسين الذاتي

في مجال مراجعة الأوراق، زادت أداء مجموعة الاختبار من 0.0 إلى 0.710، متجاوزة نقطة الأساس الساكنة. انتقل DGM-H إلى ما هو أبعد من التعليمات السطحية لإنشاء خطوط تقييم متعددة المراحل مع قوائم تحقق وقواعد قرار واضحة.

تحسينات قابلة للنقل

أحد الاكتشافات الرئيسية للباحثين في الذكاء الاصطناعي هو أن هذه التحسينات على مستوى الميتا عامة وقابلة للنقل. لقياس هذا، قدم الفريق القياس "improvement@k"، الذي يقيس زيادة الأداء التي حققها وكيل ميتا ثابت على مدى k خطوات تعديل. على سبيل المثال، حققت الهيبرagents المنقولة من مهام مراجعة الأوراق والروبوتات تحسناً ملحوظاً في تصحيح الرياضيات على مستوى الأولمبياد.

البنية التحتية الناشئة

بدون تعليمات صريحة، طورت الهيبرagents أدوات هندسية متقدمة لدعم نموها. حيث قدمت فئات لتسجيل المقاييس عبر الأجيال، وتطوير ذاكرة دائمة لتخزين الأفكار المستندة إلى الزمن، وتخطيط مدرك للحوسبة لتعديل استراتيجيات التعديل بناءً على الميزانية المتبقية للاختبار.

استنتاجات رئيسية

• توحيد وكيل المهام ووكيل الميتا: تنهي الهيبرagents مشكلة "الانحدار اللانهائي" من خلال دمج وكيل المهام (الذي يحل المشكلات) ووكيل الميتا (الذي يحسن النظام) في برنامج واحد شامل.
• التعديل الذاتي الميتا-معرفي: يمكن لـ DGM-H تعديل إجراء تحسينها الخاص، مما يعيد كتابة القواعد التي تولد بها نسخاً أفضل من نفسها.
• التحجيم غير المعتمد على المجال: تُظهر الهيبرagents تحسينات فعالة عبر أي مهمة قابلة للحساب، بما في ذلك تصميم مكافآت الروبوتات ومراجعة الأوراق الأكاديمية.
• مهارات تعلم قابلة للنقل: يمكن أن تنتقل التحسينات على مستوى الميتا من مجال إلى آخر، مما يسرع الأداء بشكل كبير.
• البنية التحتية الهندسية الناشئة: تطور الهيبرagents أدوات هندسية متقدمة لدعم أدائها ونموها.