العلامة التقنية

موقع تقني عربي متخصص في أخبار التكنولوجيا والذكاء الاصطناعي

Mistral AI تطلق نموذج Voxtral TTS لتوليد الصوت متعدد اللغات

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي
Mistral AI تطلق نموذج Voxtral TTS لتوليد الصوت متعدد اللغات

Mistral AI تطلق Voxtral TTS، نموذج مفتوح الوزن لتوليد الصوت متعدد اللغات بكفاءة عالية وتأخير منخفض.

أعلنت شركة Mistral AI عن إطلاق نموذجها الجديد Voxtral TTS، وهو نموذج تحويل النص إلى كلام (TTS) ذو وزن مفتوح، يمثل الخطوة الرئيسية الأولى للشركة في مجال توليد الصوت. يأتي ذلك بعد إصدار نماذجها الخاصة بالتدوين والنماذج اللغوية، حيث تقدم الآن الطبقة النهائية من سلسلة الصوت، مما يضعها كمتنافس مباشر مع واجهات برمجة التطبيقات الصوتية المملوكة في نظام المطورين.

نموذج Voxtral TTS ليس مجرد مولد صوتي صناعي، بل هو مكون عالي الأداء ومودولاري مصمم ليتكامل داخل سير العمل الصوتي في الوقت الحقيقي. ومن خلال إطلاق النموذج تحت ترخيص CC BY-NC، تواصل فريق Mistral استراتيجيتها لتمكين المطورين من بناء ونشر قدرات متقدمة دون قيود تسعير واجهات برمجة التطبيقات المغلقة أو قيود خصوصية البيانات.

معمارية النموذج: نموذج هجين بـ 4 مليار معلمة

بينما تم التركيز في العديد من التطورات الأخيرة في تحويل النص إلى كلام على المعمارية الضخمة والمكثفة من حيث الموارد، تم بناء نموذج Voxtral TTS مع التركيز على الكفاءة. يحتوي النموذج على 4 مليار معلمة، ويصنف كنموذج خفيف الوزن وفقًا للمعايير الحديثة. يتوزع عدد المعلمات هذا عبر هيكل هجين مصمم لحل التنازلات الشائعة بين سرعة التوليد وطبيعة الصوت.

يتكون النظام من ثلاثة مكونات رئيسية:

  • وحدة فك تشفير المحول: وحدة تحتوي على 3.4 مليار معلمة تستند إلى معمارية Ministral، تتعامل مع فهم النص وتوقع التمثيلات الدلالية للكلام.
  • المحول الصوتي المتطابق: وحدة تحتوي على 390 مليون معلمة تحول تلك التمثيلات الدلالية إلى ميزات صوتية تفصيلية.
  • كوديك الصوت العصبي: وحدة فك ترميز تحتوي على 300 مليون معلمة تعيد تحويل الميزات الصوتية إلى موجة صوتية عالية الجودة.

أداء منخفض التأخير وسرعة عالية

في سياق الذكاء الاصطناعي القابل للإنتاج، يُعتبر التأخير هو القيود الأساسية. قامت Mistral بتحسين نموذج Voxtral TTS ليتناسب مع عمليات البث ذات التأخير المنخفض، مما يجعله مناسبًا لوكلاء المحادثة والترجمة الفورية. يحقق النموذج تأخيرًا قدره 70 مللي ثانية لعينة صوتية مدتها 10 ثوانٍ مع إدخال مكون من 500 حرف. هذه السرعة حاسمة لتقليل التأخير المدرك في التطبيقات الصوتية، حيث يمكن أن تؤدي حتى الفترات القصيرة من التوقف إلى تعطيل تدفق التفاعل بين الإنسان والآلة.

علاوة على ذلك، يتمتع النموذج بعامل وقت حقيقي عالٍ يبلغ حوالي 9.7x، مما يعني أن النظام يمكنه توليد الصوت تقريبًا بشكل أسرع بعشر مرات مما يُقال. بالنسبة للمطورين، يترجم هذا الأداء إلى تكاليف حوسبة أقل والقدرة على التعامل مع أحمال عمل كبيرة في نفس الوقت على أجهزة الحوسبة القياسية.

دعم تسع لغات بدقة اللهجات

يدعم نموذج Voxtral TTS تسع لغات بشكل أصلي: الإنجليزية، الفرنسية، الألمانية، الإسبانية، الهولندية، البرتغالية، الإيطالية، الهندية، والعربية. يتجاوز الهدف التدريبي للنموذج الترجمة الصوتية البسيطة. وقد أضافت Mistral أهمية كبيرة لقدرة النموذج على التقاط اللهجات المتنوعة، معترفًة بالتغيرات الدقيقة في الإيقاع والنبرة التي تميز المتحدثين الإقليميين. هذه الدقة التقنية تجعل النموذج أداة فعالة للتطبيقات العالمية، من دعم العملاء الدولي إلى إنشاء المحتوى المحلي، حيث يفشل غالبًا اللكنة العامة في اجتياز اختبار الإنسان.

التكيف الفوري للصوت

من الميزات البارزة للمطورين في الذكاء الاصطناعي سهولة تكيف الصوت في النموذج. يدعم Voxtral TTS استنساخ الصوت بدون عينات و بضع عينات، مما يسمح له بالتكيف مع صوت جديد باستخدام أقل من 3 ثوانٍ من الصوت المرجعي. هذه القدرة تتيح إنشاء أصوات علامة تجارية متسقة أو تجارب مستخدم مخصصة دون الحاجة إلى ضبط دقيق كبير. نظرًا لاستخدام النموذج تمثيلًا مفككًا، يمكنه تطبيق خصائص الصوت المرجعي (مثل نغمة الصوت وارتفاعه) على أي نص تم إنشاؤه مع الحفاظ على الأسلوب اللغوي الصحيح للغة المستهدفة.

تحدي للعمالقة المملوكين

تركز تقييمات Mistral على كيفية تنافس Voxtral TTS مع قادة الصناعة الحاليين في الكلام الصناعي، وخاصة ElevenLabs. في اختبارات تفضيل البشر التي أجراها متحدثون أصليون، أظهر Voxtral TTS مكاسب ملحوظة في الطابع الطبيعي والتعبير. خلال تقييمات استنساخ الصوت متعدد اللغات، حقق Voxtral TTS معدل فوز قدره 68.4% مقارنةً بـ ElevenLabs Flash v2.5.

تشير هذه المعايير إلى أنه بالنسبة للعديد من حالات الاستخدام المؤسسي، قد يكون الفارق في الأداء بين الأدوات مفتوحة المصدر وواجهات برمجة التطبيقات عالية التكلفة قد أغلق فعليًا.

نشر وتكامل النموذج

تم تصميم Voxtral TTS ليعمل كجزء من مجموعة شاملة للذكاء الصوتي، حيث يتكامل بشكل أصلي مع Voxtral Transcribe، مما يخلق خط أنابيب شامل لتحويل الكلام إلى كلام (S2S). بالنسبة للمطورين الذين يبنون على بنية تحتية سحابية محلية أو خاصة، تعتبر سعة النموذج الصغيرة ميزة كبيرة. وقد أكدت فريق Mistral أن النموذج فعال بما يكفي للعمل على الأجهزة المحمولة وأجهزة الكمبيوتر المحمولة القياسية بعد عملية تصغير.

باختصار، يمثل Voxtral TTS نموذجًا مفتوح الوزن عالي الكفاءة مع 4 مليار معلمة، ويستخدم هيكلًا هجينًا يجمع بين توليد المعاني الدلالية والتفاصيل الصوتية. مع تأخير قدره 70 مللي ثانية، وأداء متفوق في تسع لغات، وقدرة تكيف فوري، فإنه يوفر حلولاً قوية للمطورين في مجال الصوتيات. ومن المؤكد أن هذه الابتكارات ستحدث تأثيرًا كبيرًا في مشهد صناعة الصوت الرقمي.

المصدر: MarkTechPost

أحدث في الذكاء الاصطناعي

مقالات سابقة في الذكاء الاصطناعي