NVIDIA تطلق Nemotron-Cascade 2: نموذج MoE مفتوح بقدرات متقدمة

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ٢٢ مارس ٢٠٢٦

أعلنت شركة NVIDIA عن إطلاق Nemotron-Cascade 2، وهو نموذج مفتوح الوزن من نوع Mixture-of-Experts (MoE) يحتوي على 30 مليار معلمة مع 3 مليارات معلمة نشطة. يركز هذا النموذج على تعظيم "كثافة الذكاء"، مما يوفر قدرات استدلال متقدمة بحجم أقل بكثير من النماذج الرائدة.

يُعتبر Nemotron-Cascade 2 هو النموذج الثاني المفتوح الوزن الذي يحقق أداءً على مستوى Gold Medal في الأولمبياد الدولية للرياضيات (IMO)، والأولمبياد الدولية في المعلوماتية (IOI)، ونهائيات بطولة ICPC العالمية لعام 2025.

الأداء المستهدف والتجارة الاستراتيجية

تتمثل القيمة الرئيسية لـ Nemotron-Cascade 2 في أدائه المتخصص في مجالات مثل الاستدلال الرياضي، والبرمجة، والتوافق، واتباع التعليمات. رغم تحقيقه نتائج رائدة في هذه المجالات، إلا أنه ليس "فوزًا شاملًا" في جميع المعايير. يتميز أداء النموذج في عدة فئات مستهدفة مقارنة بالنموذج المستخرج حديثًا Qwen3.5-35B-A3B والنموذج الأكبر Nemotron-3-Super-120B-A12B.

• الاستدلال الرياضي: يتفوق على Qwen3.5-35B-A3B في AIME 2025 (92.4 مقابل 91.9) وHMMT Feb25 (94.6 مقابل 89.0).
• البرمجة: يتصدر في LiveCodeBench v6 (87.2 مقابل 74.6) وIOI 2025 (439.28 مقابل 348.6+).
• التوافق واتباع التعليمات: يحقق درجات أعلى بكثير على ArenaHard v2 (83.5 مقابل 65.4+) وIFBench (82.9 مقابل 70.2).

الهندسة التقنية: التعلم المعزز المتسلسل والتقطيع في عدة مجالات

تستمد قدرات الاستدلال في Nemotron-Cascade 2 من خط أنابيب ما بعد التدريب، بدءًا من نموذج Nemotron-3-Nano-30B-A3B-Base.

1. التدريب المتقن تحت إشراف (SFT): خلال هذه المرحلة، استخدم فريق البحث في NVIDIA مجموعة بيانات تم تنسيقها بعناية حيث تم تضمين العينات في تسلسلات تصل إلى 256K رموز. شملت مجموعة البيانات: 1.9 مليون تتبع استدلال بلغة بايثون و1.3 مليون عينة لاستدعاء أدوات بايثون للبرمجة التنافسية، و816 ألف عينة لإثباتات الرياضيات بلغة طبيعية.
2. التعلم المعزز المتسلسل (Cascade RL): بعد SFT، خضع النموذج لـ Cascade RL، الذي يطبق التدريب المتسلسل حسب المجال، مما يمنع النسيان الكارثي عن طريق السماح بتخصيص المعلمات الفائقة لمجالات معينة دون زعزعة استقرار المجالات الأخرى.
3. التقطيع في عدة مجالات (MOPD): من الابتكارات الحيوية في Nemotron-Cascade 2 هو دمج MOPD خلال عملية Cascade RL. يستخدم تجميع MOPD أفضل النماذج المتوسطة الأداء التي تم استنتاجها من نفس البداية.

ميزات الاستدلال والتفاعل الذاتي

يدعم Nemotron-Cascade 2 وضعين رئيسيين من التشغيل من خلال قالب المحادثة الخاص به:

• وضع التفكير: يتم تفعيله بواسطة رمز واحد، يتبعه سطر جديد. هذا يُفعل الاستدلال العميق للمهام الرياضية المعقدة والبرمجة.
• الوضع غير الفكري: يتم تفعيله بإضافة كتلة فارغة للحصول على استجابات مباشرة أكثر كفاءة.

للمهام الذاتية، يستخدم النموذج بروتوكول استدعاء أدوات منظم ضمن موجه النظام. يتم إدراج الأدوات المتاحة ضمن علامات ، ويُطلب من النموذج تنفيذ استدعاءات الأدوات المحددة ضمن علامات لضمان ملاحظات تنفيذ قابلة للتحقق.

من خلال التركيز على "كثافة الذكاء"، يظهر Nemotron-Cascade 2 أن القدرات الاستدلالية المتخصصة التي كانت تُعتبر في السابق حكرًا على النماذج واسعة النطاق يمكن تحقيقها بحجم 30 مليار من خلال التعلم المعزز الموجه حسب المجال.