إطلاق نموذج Qwen3.5 Omni من Alibaba: نموذج متعدد الوسائط
أطلق فريق Qwen من Alibaba نموذج Qwen3.5-Omni الجديد، الذي يمثل طفرة في النماذج متعددة الوسائط.
في عالم نماذج اللغة الكبيرة متعددة الوسائط (MLLMs)، شهدت التطورات تحولًا ملحوظًا من النماذج التجريبية، التي كانت تعتمد على دمج وحدات ترميز منفصلة للصوت أو الرؤية، إلى نماذج "أومني-مودال" الأصلية والتي تعمل بشكل متكامل. أحدث إصدار لفريق Qwen من Alibaba، Qwen3.5-Omni، يمثل علامة بارزة في هذا الاتجاه.
تم تصميم Qwen3.5-Omni كمنافس مباشر للنماذج الرائدة مثل Gemini 3.1 Pro، حيث يقدم إطارًا موحدًا قادرًا على معالجة النصوص والصور والصوت والفيديو في وقت واحد ضمن سلسلة حاسوبية واحدة. تكمن الأهمية التقنية لنموذج Qwen3.5-Omni في بنية "Thinker-Talker" واستخدامه لنظام "Hybrid-Attention Mixture of Experts" (MoE) عبر جميع الوسائط.
مزايا نموذج Qwen3.5-Omni
يتميز هذا النموذج بقدرته على التعامل مع نوافذ سياقية ضخمة وتفاعلات في الوقت الحقيقي دون التأخير التقليدي المرتبط بالنظم المتسلسلة. يتم تقديم السلسلة في ثلاثة أحجام لتوازن الأداء والتكلفة:
- Plus: يوفر استدلالًا عالي التعقيد ودقة قصوى.
- Flash: مُحسّن للتفاعل عالي السرعة ومنخفض الكمون.
- Light: نسخة أصغر تركز على المهام التي تتطلب الكفاءة.
بنية Thinker-Talker
في قلب Qwen3.5-Omni توجد بنية مزدوجة مرتبطة بشكل وثيق تتكون من مكونين رئيسيين: "Thinker" و"Talker". في الإصدارات السابقة، كانت النماذج متعددة الوسائط تعتمد غالبًا على وحدات ترميز خارجية مُدربة مسبقًا (مثل Whisper للصوت). يتخطى Qwen3.5-Omni ذلك من خلال استخدام مُشفر "Audio Transformer" الأصلي، الذي تم تدريبه على أكثر من 100 مليون ساعة من البيانات السمعية والبصرية، مما يمنح النموذج فهماً مدروسًا للتغيرات الزمنية والصوتية.
نظام MoE الهجين
يعتمد كل من "Thinker" و"Talker" على نظام "Hybrid-Attention MoE". في إعداد MoE القياسي، يتم تنشيط مجموعة فرعية من المعلمات (الخبراء) لأي رمز معين، مما يسمح بزيادة عدد المعلمات الإجمالية مع خفض التكاليف الحاسوبية النشطة. من خلال تطبيق هذا على آلية الانتباه الهجينة، يستطيع Qwen3.5-Omni تقييم أهمية الوسائط المختلفة بفاعلية، مثل التركيز أكثر على الرموز المرئية خلال مهام تحليل الفيديو.
الأداء والنتائج المعيارية
أحد أبرز الادعاءات التقنية المتعلقة بنموذج Qwen3.5-Omni-Plus هو أداؤه في لوحة الصدارة العالمية. حقق النموذج نتائج رائدة (SOTA) في 215 مهمة متعلقة بالصوت والفهم السمعي البصري. تغطي هذه الانتصارات المعايير الفنية المحددة، بما في ذلك:
- 3 معايير سمعية بصرية.
- 5 معايير عامة للصوت.
- 8 معايير للتعرف التلقائي على الكلام (ASR).
- 156 مهمة ترجمة صوتية إلى نص محددة باللغة.
- 43 مهمة ASR محددة باللغة.
تشير التقارير الفنية الرسمية إلى أن Qwen3.5-Omni-Plus يتفوق على Gemini 3.1 Pro في الفهم العام للصوت والتعرف والترجمة، ويحقق توازناً في الأداء الصوتي البصري مع نموذج Google الرائد.
حلول التفاعل في الوقت الحقيقي
يتطلب بناء نموذج يمكنه "التحدث" و"الاستماع" في الوقت الحقيقي معالجة تحديات هندسية محددة تتعلق باستقرار البث وسير المحادثة. قدم فريق Qwen تقنية "ARIA" (Adaptive Rate Interleave Alignment) لمعالجة مشكلة "عدم استقرار الكلام". هذا الحل يعدل بسرعة بين وحدات النص والكلام خلال عملية الإنتاج، مما يحسن طبيعة وموثوقية تخليق الكلام دون زيادة الكمون.
القدرة الجديدة: ترميز الأجواء السمعية والبصرية
من بين الميزات الأكثر تميزًا في نموذج Qwen3.5-Omni هي القدرة على تنفيذ مهام الترميز بناءً على التعليمات السمعية والبصرية مباشرة. على سبيل المثال، يمكن لمطور تسجيل فيديو لواجهة برمجية، ووصف مشكلة شفهياً أثناء الإشارة إلى عناصر محددة، ليقوم النموذج بإنشاء الإصلاح مباشرة.
الاستنتاجات الرئيسية
يستخدم نموذج Qwen3.5-Omni بنية متعددة الوسائط الأصلية لتوحيد معالجة النصوص والصوت والفيديو. يدعم النموذج إدخالًا بسياق يصل إلى 256 ألف رمز، أكثر من 10 ساعات من الصوت، و400 ثانية من محتوى سمعي بصري بجودة 720p. كما يُدعى أن النموذج يمكنه التعرف على الكلام في 113 لغة ودياكت من اللغات المختلفة.
يمكنك الاطلاع على التفاصيل الفنية، واختبار النموذج عبر الإنترنت، وتجربة العروض التوضيحية المتاحة.
المصدر: MarkTechPost