NVIDIA تكشف عن ProRL Agent: بنية جديدة لتعلم التعزيز

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ٢٩ مارس ٢٠٢٦

أعلنت شركة NVIDIA عن إطلاق ProRL AGENT، وهي بنية تحتية قابلة للتوسع مصممة لتسهيل عملية التدريب على تعلم التعزيز (RL) لوكلاء النماذج اللغوية متعددة الأدوار. يعتمد النظام فلسفة "Rollout-as-a-Service"، التي تفصل بين تنسيق إطلاق الوكلاء ودورة التدريب، مما يُعالج النزاعات الملحوظة في الموارد بين التفاعلات البيئية التي تتطلب إدخال/إخراج مكثف وتحديثات السياسة التي تتطلب استخدام وحدة معالجة الرسومات (GPU).

المشكلة الأساسية: الارتباط الوثيق

تتضمن مهام الوكلاء متعددة الأدوار التفاعل مع بيئات خارجية، مثل مستودعات الشيفرة أو أنظمة التشغيل، من خلال استخدام أدوات متكررة. العديد من الأطر الحالية، مثل SkyRL وVeRL-Tool وAgent Lightning، تضم التحكم في الإطلاق داخل عملية التدريب مباشرة. هذا الارتباط الوثيق يؤدي إلى قيود رئيسية تتمثل في:

• متطلبات النظام المتضاربة: تكون عمليات الإطلاق مرتبطة بإدخال/إخراج، مما يتطلب إنشاء صناديق الرمل، وجلسات أدوات طويلة الأمد، وتنسيق غير متزامن. بينما يكون التدريب مكثفًا على وحدات معالجة الرسومات، مما يركز على عمليات التمرير الأمامي والخلفي وتزامن التدرجات. تشغيل كلاهما في عملية واحدة يسبب تداخلًا ويقلل من كفاءة الأجهزة.
• حواجز الصيانة: تضمين منطق الإطلاق في المدرب يجعل من الصعب الانتقال إلى خلفيات تدريب مختلفة أو دعم بيئات زمن التشغيل الجديدة دون إعادة تنفيذ خط أنابيب التنفيذ.

تصميم النظام: Rollout-as-a-Service

يعمل ProRL AGENT كخدمة HTTP مستقلة تدير دورة حياة الإطلاق بالكامل. يتفاعل مدرب التعلم المعزز مع الخادم فقط من خلال واجهة برمجة التطبيقات (API)، مما يجعله غير معتمد على البنية التحتية للإطلاق الأساسية.

خط أنابيب غير متزامن من ثلاث مراحل

لزيادة الإنتاجية، يقوم الخادم بتنظيم عمليات الإطلاق من خلال خط إنتاج غير متزامن من ثلاث مراحل:

1. INIT: يقوم العاملون في التهيئة بإنشاء صناديق الرمل وتكوين الأدوات.
2. RUN: يقوم العاملون في الإطلاق بتشغيل حلقة الوكيل متعددة الأدوار وجمع المسارات.
3. EVAL: يقوم العاملون في التقييم بتقييم النتائج مقارنة بالحقيقة الأرضية لإنتاج إشارات المكافأة.

من خلال تخصيص كل مرحلة لمجموعة مستقلة من العمال، يسمح ProRL AGENT بتداخل المراحل عبر مهام مختلفة، مما يمنع التقييمات البطيئة من إبطاء عملية الإطلاق.

تقنيات متقدمة لتعزيز التعلم القابل للتوسع

تقدم البنية التحتية آليات لتحسين استقرار التدريب واستخدام الأجهزة:

• توازن الحمل وإعادة استخدام ذاكرة التخزين المؤقت: يدير الخادم مجموعة من واجهات خلفية استدلال النماذج اللغوية الكبيرة (LLM) باستخدام min-heap بناءً على عدد المهام المعينة.
• التواصل من خلال الرموز: لتجنب تباين الرموز، يستخدم ProRL AGENT معرفات الرموز كممثل رسمي طوال العملية.
• تنفيذ DAPO المحسن: يدعم النظام Dynamic Sampling Policy Optimization (DAPO)، الذي يقوم بتصفية الطلبات غير المعلوماتية.

نتائج تجريبية على SWE-Bench

تم التحقق من النظام باستخدام نماذج Qwen3 عبر مقاييس متعددة. أظهر ProRL AGENT تحسين الأداء مقارنة بالمعايير المعاد إنتاجها:

• Qwen3-4B: 14.8 إلى 21.2
• Qwen3-8B: 9.6 إلى 18.0
• Qwen3-14B: 15.4 إلى 23.6

أظهرت الاختبارات أن الإنتاجية في عمليات الإطلاق تزداد بشكل خطي تقريبًا مع إضافة وحدات حسابية.

استنتاجات رئيسية

• فصل معماري: يعامل ProRL Agent دورة الحياة الكاملة للإطلاق كخدمة HTTP مستقلة.
• تحسينات كبيرة في الأداء: ساعدت البنية التحتية نماذج Qwen3 في تحسين أدائها بشكل ملحوظ.
• تقليل زمن الاستجابة: تحسينات مستهدفة مثل استبدال tmux قد أسهمت في تقليل زمن الاستجابة.
• نشر متوافق مع HPC: يدعم ProRL Agent التنفيذ بدون جذر، مما يسمح بالتدريب على مجموعات الحوسبة عالية الأداء.