جوجل تطلق نموذج Gemini 3.1 Flash Live للتفاعلات الصوتية في الوقت الحقيقي
جوجل تطلق Gemini 3.1 Flash Live لتحسين التفاعلات الصوتية في الوقت الحقيقي بفضل تقنيات معالجة البيانات المتعددة الوسائط.
أعلنت جوجل عن إطلاق نموذج Gemini 3.1 Flash Live في مرحلة المعاينة للمطورين من خلال واجهة برمجة التطبيقات Gemini Live API في Google AI Studio. يهدف هذا النموذج إلى توفير تفاعلات صوتية في الوقت الحقيقي ذات زمن استجابة منخفض، مما يجعلها أكثر طبيعية وموثوقية. ويعتبر هذا النموذج "أفضل نموذج صوتي وكلامي من جوجل حتى الآن".
باستخدام معالجة البيانات المتعددة الوسائط، يوفر النموذج أساسًا تقنيًا لبناء وكلاء يعتمدون على الصوت، مما يتجاوز القيود الزمنية للهياكل التقليدية المعتمدة على نماذج اللغة الكبيرة.
التخلص من مشكلة زمن الانتظار
كانت إحدى المشكلات الأساسية في تطبيقات الذكاء الاصطناعي الصوتي السابقة هي "مجموعة زمن الانتظار". حيث كانت عملية اكتشاف النشاط الصوتي تنتظر الصمت، ثم تقوم بالتحويل إلى نص، ثم توليد الرد، وأخيرًا التركيب الصوتي. بحلول الوقت الذي يتحدث فيه الذكاء الاصطناعي، يكون الإنسان قد انتقل بالفعل إلى موضوع آخر. يعمل Gemini 3.1 Flash Live على حل هذه المشكلة من خلال معالجة الصوت بشكل مباشر، حيث لا يقتصر الأمر على قراءة النص، بل يقوم بمعالجة الفروق الدقيقة الصوتية مباشرة.
وفقًا لمعايير جوجل الداخلية، يحقق النموذج تحسينًا كبيرًا في التعرف على النغمة وسرعة الإيقاع مقارنة بالنموذج السابق 2.5 Flash Native Audio. والأكثر إثارة للإعجاب هو أداؤه في البيئات الصاخبة، حيث تمكن النموذج من تمييز الكلام ذي الصلة من الأصوات البيئية بدقة غير مسبوقة.
واجهة برمجة التطبيقات متعددة الوسائط
بالنسبة للمطورين، يتمثل التغيير الحقيقي في واجهة برمجة التطبيقات Multimodal Live API، وهي واجهة تدفق ثنائية الاتجاه تستخدم WebSockets للحفاظ على اتصال دائم بين العميل والنموذج. على عكس واجهات برمجة التطبيقات القياسية التي تعالج طلبًا واحدًا في كل مرة، تتيح واجهة Live API تدفق بيانات مستمر.
وفيما يلي التحليل الفني لخط أنابيب البيانات:
- مدخل الصوت: يتوقع النموذج الحصول على صوت PCM خام بدقة 16 بت عند 16 كيلو هرتز.
- مخرج الصوت: يعيد بيانات صوت PCM خام، متجاوزًا زمن الانتظار لخطوة تحويل النص إلى صوت.
- السياق البصري: يمكن بث إطارات الفيديو كصور JPEG أو PNG فردية بمعدل إطار واحد في الثانية.
- البروتوكول: يمكن الآن تجميع حدث خادم واحد لعدة أجزاء من المحتوى في وقت واحد، مثل قطع الصوت والنصوص المقابلة، مما يبسط عملية المزامنة على جانب العميل.
يدعم النموذج أيضًا إمكانية Barge-in، مما يسمح للمستخدمين بقطع حديث الذكاء الاصطناعي في منتصف الجملة. وبفضل الاتصال ثنائي الاتجاه، يمكن للواجهة أن توقف على الفور تخزين الصوت وتحليل الصوت الوارد الجديد، مما يحاكي إيقاع المحادثة البشرية.
التحسينات في أداء الذكاء الاصطناعي
لا تركز فريق أبحاث الذكاء الاصطناعي في جوجل على السرعة فحسب، بل على الفائدة أيضًا. تسلط الإصدار الضوء على أداء النموذج في ComplexFuncBench Audio، وهو معيار يقيس قدرة الذكاء الاصطناعي على أداء استدعاءات معقدة متعددة الخطوات فقط استنادًا إلى الإدخال الصوتي. سجل Gemini 3.1 Flash Live نسبة مذهلة بلغت 90.8% في هذا المعيار.
بالنسبة للمطورين، يعني ذلك أن وكيل الصوت يمكنه الآن التفكير في المنطق المعقد، مثل العثور على فواتير معينة وإرسالها عبر البريد الإلكتروني استنادًا إلى حد سعر، دون الحاجة إلى وسيط نصي للتفكير أولاً.
التحكم في عمق التفكير
تعتبر قدرة المطورين على ضبط عمق التفكير في النموذج من الميزات البارزة. باستخدام معامل thinkingLevel، يمكن للمطورين اختيار بين مستويات التفكير الأدنى، المنخفض، المتوسط، والعالي. المستوى الأدنى هو الافتراضي لجلسات Live، مع التركيز على أقل زمن ممكن للوصول إلى الرمز الأول. بينما يزيد المستوى العالي من زمن الاستجابة، إلا أنه يسمح للنموذج بأداء خطوات "تفكير" أعمق قبل الاستجابة، وهو أمر ضروري لحل المشكلات المعقدة أو مهام تصحيح الأخطاء المقدمة عبر الفيديو المباشر.
تحديثات مستودع المهارات
مع تطور واجهات برمجة التطبيقات الخاصة بالذكاء الاصطناعي بسرعة، يمثل الحفاظ على توثيق محدث ضمن أدوات ترميز المطورين تحديًا. لمواجهة ذلك، يحتفظ فريق الذكاء الاصطناعي في جوجل بمستودع google-gemini/gemini-skills، وهو مكتبة من "المهارات" التي يمكن حقنها في موجه مساعد الترميز لتحسين أدائه. يشمل المستودع مهارة محددة تركز على تفاصيل جلسات WebSocket ومعالجة كتل الصوت والفيديو.
تشير التقارير إلى أن إضافة مهارة ذات صلة حسنت دقة توليد الأكواد إلى 87% مع Gemini 3 Flash و96% مع Gemini 3 Pro. من خلال استخدام هذه المهارات، يمكن للمطورين التأكد من أن وكلاء الترميز لديهم يستخدمون أفضل الممارسات الحالية لواجهة Live API.
الاستنتاجات الرئيسية
- البنية متعددة الوسائط الأصلية: تدمج عملية "النقل-التفكير-التوليد" التقليدية في عملية صوتية إلى صوتية واحدة، مما يقلل من زمن الاستجابة بشكل كبير.
- التدفق الثنائي الاتجاه: يستخدم النموذج WebSockets للتواصل الكامل، مما يسمح بالتحكم في المستخدم أثناء الحديث.
- التفكير العالي الدقة: تم تحسينه لاستدعاء الأدوات الخارجية مباشرة من الصوت، محققا 90.8% في ComplexFuncBench Audio.
- التحكم القابل للتعديل في "التفكير": يمكن للمطورين موازنة سرعة المحادثة مقابل عمق التفكير باستخدام معامل thinkingLevel.
- حالة المعاينة والقيود: متاح حاليًا في معاينة المطورين، يتطلب النموذج صوت PCM بدقة 16 بت ويدعم حاليًا فقط استدعاء الوظائف المتزامنة وتجميع المحتوى المحدد.
المصدر: MarkTechPost