Salesforce تطلق VoiceAgentRAG لتقليل زمن استرجاع الصوت
أطلقت Salesforce نظام VoiceAgentRAG لتحسين زمن استرجاع الصوت وتقليل التأخيرات إلى 0.35 مللي ثانية، مما يعزز تجربة المستخدم.
في عالم الذكاء الاصطناعي الصوتي، يمكن أن تكون الفروق بين مساعد مفيد وتفاعل محرج هي مسألة ميلي ثانية. بينما تسمح أنظمة استرجاع البيانات المعززة بالنصوص (RAG) بفترة تفكير تمتد لبضع ثوانٍ، فإن وكلاء الصوت يجب أن يستجيبوا ضمن ميزانية زمنية تبلغ 200 مللي ثانية للحفاظ على تدفق المحادثة بشكل طبيعي. عادةً ما تضيف استعلامات قواعد البيانات القياسية تأخيرات تتراوح بين 50-300 مللي ثانية، مما يستهلك الميزانية بالكامل قبل أن يبدأ النموذج اللغوي الكبير (LLM) في توليد استجابة.
لذلك، أطلق فريق أبحاث Salesforce AI نظام VoiceAgentRAG، وهو هيكل ثنائي الوكيل مصمم لتجاوز عنق الزجاجة في الاسترجاع عن طريق فصل عملية جلب الوثائق عن توليد الاستجابة.
الهيكل الثنائي للوكيل: المتحدث السريع والمفكر البطيء
يعمل VoiceAgentRAG كجهاز توجيه للذاكرة يقوم بتنسيق وكيلين متزامنين عبر حافلة أحداث غير متزامنة:
- المتحدث السريع (الوكيل الأمامي): يتولى هذا الوكيل المسار الحرج للزمن. عند كل استفسار من المستخدم، يتحقق أولاً من ذاكرة سيمانتيك المخزنة محليًا. إذا كانت السياق المطلوب موجودًا، فإن عملية البحث تستغرق حوالي 0.35 مللي ثانية. في حالة عدم وجوده، يعود إلى قاعدة البيانات البعيدة ويخزن النتائج على الفور للاستخدام في المستقبل.
- المفكر البطيء (الوكيل الخلفي): يعمل كوظيفة خلفية، حيث يراقب باستمرار تدفق المحادثة. يستخدم نافذة منزلقة من آخر ستة أدوار في المحادثة للتنبؤ بـ 3-5 مواضيع تالية محتملة. بعد ذلك، يقوم بجلب أجزاء الوثائق ذات الصلة من التخزين البعيد إلى الذاكرة المحلية قبل أن يتحدث المستخدم سؤاله التالي.
البنية التقنية: التخزين السيمانتيكي
تعتمد كفاءة النظام على ذاكرة سيمانتيك متخصصة تم تنفيذها باستخدام FAISS IndexFlat IP (المنتج الداخلي). يقوم النظام بفهرسة المدخلات بناءً على تضمينات الوثائق الخاصة بها، مما يسمح له بإجراء بحث سيمانتيكي مناسب على المحتويات.
يستخدم النظام عتبة افتراضية تبلغ τ = 0.40 لتحقيق توازن بين الدقة والاسترجاع. كما أنه يكتشف النسخ القريبة باستخدام عتبة تشابه كوزاين تبلغ 0.95، ويطبق سياسة إخلاء الأقل استخدامًا مؤخرًا مع وقت حياة يبلغ 300 ثانية.
الأداء والاختبارات
قيم فريق البحث النظام باستخدام Qdrant Cloud كقاعدة بيانات بعيدة عبر 200 استفسار و10 سيناريوهات محادثة. أظهرت النتائج ما يلي:
- معدل نجاح التخزين المؤقت العام: 75% (79% في الأدوار الدافئة)
- زيادة سرعة الاسترجاع: 316x (110 مللي ثانية → 0.35 مللي ثانية)
- إجمالي الوقت المسترجع: 16.5 ثانية على مدى 200 دور
كان الهيكل أكثر فعالية في السيناريوهات المتماسكة موضوعيًا. على سبيل المثال، حقق "مقارنة الميزات" (S8) معدل نجاح بنسبة 95%. بالمقابل، انخفض الأداء في السيناريوهات الأكثر تقلبًا، وكان أدنى معدل أداء في سيناريو "ترقية العميل الحالي" (S9) بنسبة 45%.
التكامل والدعم
تم تصميم مستودع VoiceAgentRAG ليتوافق بشكل واسع عبر مجموعة أدوات الذكاء الاصطناعي، حيث يدعم مزودي النماذج اللغوية الكبيرة مثل OpenAI وGemini/Vertex AI. كما يدعم النظام Whisper لتحويل الكلام إلى نص وEdge TTS لتحويل النص إلى كلام.
استنتاجات رئيسية
- تمكن العمارة الثنائية من حل عنق الزجاجة في زمن استرجاع RAG باستخدام "المتحدث السريع" للبحث السريع و"المفكر البطيء" للتنبؤ بالاستفسارات.
- تحقيق زيادة كبيرة في سرعة الاسترجاع تصل إلى 316x، وهو أمر حاسم للبقاء ضمن ميزانية زمن الاستجابة الصوتي الطبيعية البالغة 200 مللي ثانية.
- يحقق النظام كفاءة عالية في التخزين المؤقت، حيث يحافظ على معدل نجاح إجمالي يبلغ 75%، مع بلوغه 95% في المحادثات المتماسكة.
- تضمن التخزين المؤشر للوثائق دقة عالية بغض النظر عن صياغة المستخدم.
- يستخدم الوكيل الخلفي نافذة منزلقة من الأدوار السابقة للتنبؤ بالمواضيع التالية وتعبئة الذاكرة خلال فترات التوقف الطبيعية.
المصدر: MarkTechPost