Mistral AI تطلق Mistral Small 4: نموذج MoE بـ 119 مليار معلمة

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ١٧ مارس ٢٠٢٦

أعلنت شركة Mistral AI عن إطلاق نموذجها الجديد Mistral Small 4، الذي يأتي كجزء من عائلة Mistral Small، مصمماً لتجميع قدرات متعددة كانت منفصلة سابقًا في هدف نشر واحد. يصف فريق Mistral النموذج الجديد بأنه الأول من نوعه الذي يجمع بين الأدوار المرتبطة بـ Mistral Small لتوجيه التعليمات، وMagistral للتفكير، وPixtral لفهم الوسائط المتعددة، وDevstral للبرمجة الوكيلة.

النموذج الجديد يتيح تشغيل نموذج كمساعد عام، ونموذج تفكير، ونظام متعدد الوسائط، دون الحاجة للتبديل بين النماذج عبر سير العمل. هذا يجعل من Mistral Small 4 خيارًا متكاملًا يمكنه التعامل مع مجموعة متنوعة من المهام في آن واحد.

تصميم هيكلي متميز

يعد Mistral Small 4 نموذجًا قائمًا على Mixture-of-Experts (MoE)، حيث يحتوي على 128 خبيرًا مع 4 خبراء نشطين لكل رمز. يضم النموذج 119 مليار معلمة إجمالية، مع 6 مليار معلمة نشطة لكل رمز، أو 8 مليار بما في ذلك طبقات الإدخال والإخراج.

دعم السياقات الطويلة والوسائط المتعددة

يدعم النموذج نافذة سياق تصل إلى 256 ألف رمز، مما يمثل قفزة كبيرة للاستخدامات الهندسية العملية. هذه القدرة على التعامل مع السياقات الطويلة تعني تقليل الحاجة إلى تقسيم البيانات واسترجاعها بشكل مكثف في مهام مثل تحليل المستندات الطويلة، واستكشاف قاعدة الشيفرة، والتفكير عبر ملفات متعددة.

يستهدف Mistral Small 4 الاستخدامات العامة للدردشة، وترميز الشيفرة، والمهام الوكيلة، والتفكير المعقد، مع دعم الإدخالات النصية والصورية وإخراج نص. وهذا يضعه في فئة النماذج العامة التي من المتوقع أن تتعامل مع المهام التي تتطلب لغة غزيرة ومدعومة بصريًا تحت واجهة برمجة التطبيقات واحدة.

تخصيص التفكير عند الاستدلال

من القرارات المهمة في المنتج هو إدخال جهد التفكير القابل للتخصيص. يتيح Mistral Small 4 للمطورين ضبط معلمة reasoning_effort في وقت الطلب، مما يسمح لهم بالتداول بين السرعة والتفكير العميق. في الوثائق الرسمية، يتم وصف reasoning_effort="none" بأنه يوفر استجابات سريعة بأسلوب دردشة مماثل لـ Mistral Small 3.2، بينما reasoning_effort="high" مصمم للتفكير الأكثر تعمقًا وبأسلوب خطوة بخطوة.

تحسين الأداء والكفاءة

يؤكد فريق Mistral أيضًا على كفاءة الاستدلال. يقدم Mistral Small 4 تخفيضًا بنسبة 40% في وقت الاكتمال الشامل في إعداد مُحسَّن للزمن، وثلاثة أضعاف عدد الطلبات في الثانية في إعداد مُحسَّن للإنتاجية، وكلاهما مقاسًا مقارنةً بـ Mistral Small 3.

على الرغم من أن Mistral لا تقدم Small 4 كنموذج تفكير أكبر فقط، بل كمنظومة تهدف إلى تحسين اقتصاديات النشر تحت الأحمال الفعلية. تُظهر نتائج المعايير أن Mistral Small 4 يتفوق في الجودة والكفاءة، حيث يتطابق مع أو يتجاوز أداء GPT-OSS 120B في عدة اختبارات.

تفاصيل النشر والدعم

للاستضافة الذاتية، تقدم Mistral إرشادات محددة للبنية التحتية. تتطلب التهيئة المستهدفة الحد الأدنى من 4 وحدات NVIDIA HGX H100 أو 2 وحدات NVIDIA HGX H200 أو 1 وحدة NVIDIA DGX B200، مع توصيات لتكوينات أكبر لأفضل أداء. النموذج مدعوم على منصات مثل vLLM وTransformers، بالإضافة إلى توفير صورة Docker مخصصة.

استنتاجات رئيسية

• نموذج موحد: يجمع Mistral Small 4 بين قدرات التعليمات، والتفكير، والوسائط المتعددة، والترميز الوكيل في نموذج واحد.
• تصميم MoE النادر: يستخدم 128 خبيرًا مع 4 خبراء نشطين لكل رمز، مستهدفًا كفاءة أفضل من النماذج الكثيفة.
• دعم السياقات الطويلة: يدعم النموذج 256 ألف رمز ويقبل الإدخالات النصية والصورية.
• قابلية تخصيص التفكير: يمكن للمطورين ضبط جهد التفكير في وقت الاستدلال بدلاً من التبديل بين نماذج سريعة ونماذج تفكير.
• تركيز على النشر المفتوح: تم إصداره بموجب ترخيص Apache 2.0 ويدعم النشر عبر حزم مثل vLLM.