NVIDIA تطلق تقنية فك تشفير استباقي في NeMo RL لتسريع الأداء

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ٢ مايو ٢٠٢٦

أصدرت شركة NVIDIA بحثًا جديدًا يظهر كيف يمكن لتقنية فك التشفير الاستباقي أن تعزز سرعة توليد النتائج في نموذج التعلم المعزز NeMo RL. تتضمن هذه التقنية دمج فك التشفير الاستباقي مع نظام vLLM، مما يؤدي إلى تسريع عملية التوليد بشكل ملحوظ دون فقدان دقة النتائج.

التحديات في توليد النتائج

تعتبر عملية توليد النتائج واحدة من أكبر العقبات التي تواجه الباحثين في مجال التعلم المعزز، حيث تمثل حوالي 65-72% من الوقت الكلي اللازم لتنفيذ خطوة التدريب. يتكون كل خطوة في التدريب من خمس مراحل، بما في ذلك تحميل البيانات وتوليد النتائج وإعادة حساب الاحتمالات وتدريب النموذج. وهذا يعني أن تحسين سرعة توليد النتائج يمكن أن يؤدي إلى تحسين كبير في الأداء الكلي للنموذج.

ما هو فك التشفير الاستباقي؟

تعتمد تقنية فك التشفير الاستباقي على استخدام نموذج أصغر وأسرع يقترح عدة رموز في وقت واحد. يقوم النموذج الأكبر، الذي يتم تدريبه فعليًا، بالتحقق من هذه الرموز باستخدام إجراء يسمى عينة الرفض. هذه العملية تضمن أن توزيع النتائج هو نفسه كما لو أن النموذج الأكبر قام بتوليد الرموز بشكل تلقائي، مما يعني عدم الحاجة إلى تصحيحات في الإشارات التدريبية.

التكامل في نظام NeMo RL

تعتبر إضافة نموذج استباقي إلى حلقة تدريب التعلم المعزز عملية معقدة. يجب أن يتلقى محرك التوليد أوزانًا جديدة في كل مرة يتم فيها تحديث السياسة، مما يتطلب توافقًا دائمًا بين النموذج الاستباقي والسياسة المتطورة. قامت NVIDIA بحل هذه المشكلة باستخدام بنية ثنائية المسار في NeMo RL، حيث يعمل المسار العام مع إطار عمل EAGLE-3 الذي يتوافق مع أي نموذج مدرب مسبقًا.

نتائج قياس الأداء عند 8B

عند استخدام 32 وحدة معالجة رسومية من نوع GB200، حققت تقنية EAGLE-3 تقليص زمن توليد النتائج من 100 ثانية إلى 56.6 ثانية في نموذج RL-Zero، مما يمثل زيادة بنسبة 1.8×. بينما في نموذج RL-Think، انخفض الزمن من 133.6 ثانية إلى 87.0 ثانية.

توقعات الأداء عند 235B

تستخدم NVIDIA محاكي أداء GPU خاص بها لتوقع زيادة الأداء عند مقاييس أكبر. تشير التوقعات إلى أن استخدام تقنية فك التشفير الاستباقي يمكن أن يؤدي إلى زيادة تصل إلى 3.5× في سرعة التوليد عندما يتم استخدام نموذج Qwen3-235B مع تنفيذ غير متزامن.

تظهر هذه الأبحاث الجديدة كيف يمكن لتقنيات متقدمة مثل فك التشفير الاستباقي أن تقدم تحسينات كبيرة في أداء نماذج التعلم المعزز، مما يفتح آفاقًا جديدة في مجال الذكاء الاصطناعي.