العلامة التقنية

موقع تقني عربي متخصص في أخبار التكنولوجيا والذكاء الاصطناعي

مايكروسوفت تطلق Harrier-OSS-v1: عائلة جديدة من نماذج التضمين متعددة اللغات

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي
مايكروسوفت تطلق Harrier-OSS-v1: عائلة جديدة من نماذج التضمين متعددة اللغات

مايكروسوفت تطلق Harrier-OSS-v1، عائلة جديدة من نماذج التضمين متعددة اللغات، مع تحقيق نتائج رائدة في الأداء.

أعلنت مايكروسوفت عن إطلاق Harrier-OSS-v1، وهي عائلة من ثلاثة نماذج لتضمين النصوص متعددة اللغات، تم تصميمها لتوفير تمثيلات دلالية عالية الجودة عبر مجموعة واسعة من اللغات. تشمل التشكيلة ثلاثة مقاييس مختلفة: نموذج يحتوي على 270 مليون معلمة، ونموذج آخر بحجم 0.6 مليار معلمة، ونموذج ثالث بحجم 27 مليار معلمة. وقد حققت نماذج Harrier-OSS-v1 نتائج رائدة في الأداء (SOTA) على معيار Multilingual MTEB (Massive Text Embedding Benchmark) v2.

العمارة والأساس

تبتعد عائلة Harrier-OSS-v1 عن العمارة التقليدية للمشفّرين ثنائي الاتجاه (مثل BERT) التي هيمنت على مشهد التضمين لسنوات. بدلاً من ذلك، تستخدم هذه النماذج هياكل تعتمد على المفسر فقط، مماثلة لتلك الموجودة في نماذج اللغة الكبيرة الحديثة. يمثل استخدام الأسس المعتمدة على المفسر فقط تحولًا في كيفية معالجة السياق. في نموذج causal، يمكن لكل رمز أن يحضر فقط الرموز التي تسبقه. لاشتقاق متجه واحد يمثل المدخل بالكامل، تستخدم Harrier أسلوب تجميع آخر رمز. وهذا يعني أن الحالة المخفية للرمز الأخير في التسلسل تُستخدم كتمثيل إجمالي للنص، والذي يتم بعد ذلك خضوعه لتطبيع L2 لضمان أن يكون للمتجه حجم متسق.

المواصفات الفنية

تتميز نماذج Harrier-OSS-v1 بأبعاد تضمين متغيرة ودعم متسق للمدخلات ذات السياق الطويل. توفر الجدول التالي تفصيلًا للمواصفات الفنية:

  • نموذج 270M: 640 بعد
  • نموذج 0.6B: 1024 بعد
  • نموذج 27B: 5376 بعد

تُعتبر نافذة السياق التي تمتد إلى 32,768 رمزًا عبر جميع الأحجام ميزة مهمة لأنظمة Retrieval-Augmented Generation (RAG). معظم نماذج التضمين التقليدية محدودة إلى 512 أو 1,024 رمزًا. تتيح النافذة الموسعة لمطوري الذكاء الاصطناعي تضمين مستندات أو ملفات كود أكبر بكثير دون الحاجة إلى تجزئة عدوانية، مما يؤدي غالبًا إلى فقدان الاتساق الدلالي.

التنفيذ: تضمينات تعتمد على التعليمات

واحدة من أهم التفاصيل التشغيلية لمطوري الذكاء الاصطناعي هي أن Harrier-OSS-v1 هي عائلة من التضمينات الموجهة بالتعليمات. لتحقيق الأداء القياسي، يحتاج النموذج إلى تعليمات محددة حسب المهمة تُقدم في وقت الاستعلام. يتبع التنفيذ منطقًا محددًا:

  • على جانب الاستعلام: يجب أن تُسبق جميع الاستعلامات بجملة تعليمية واحدة تحدد النية (مثل استرجاع نصوص دلالية مشابهة أو العثور على ترجمة).
  • على جانب الوثيقة: يجب ترميز الوثائق دون تعليمات.

يبدو أن تنسيق الاستعلام سيكون كالتالي: "التعليمات: استرجاع نص دلالي مشابه الاستعلام: [نص المستخدم]". يسمح هذا النهج المعتمد على التعليمات للنموذج بتعديل فضاء المتجهات ديناميكيًا بناءً على المهمة، مما يحسن دقة الاسترجاع عبر مجالات مختلفة مثل البحث على الويب أو تعدين النصوص الثنائية.

التدريب واستخلاص المعرفة

تضمن تطوير عائلة Harrier-OSS-v1 عملية تدريب متعددة المراحل. بينما يوفر نموذج 27B أعلى عدد من المعلمات والأبعاد (5,376)، استخدم فريق مايكروسوفت تقنيات متخصصة لتعزيز أداء النسخ الأصغر. تم تدريب نماذج 270M و0.6B أيضًا باستخدام تقنيات استخلاص المعرفة من نماذج التضمين الأكبر. استخلاص المعرفة هو تقنية يتم فيها تدريب نموذج "طالب" لتكرار توزيعات المخرجات أو تمثيلات الميزات لنموذج "معلم" عالي الأداء. تسمح هذه العملية لنماذج Harrier الأصغر بتحقيق جودة تضمين أعلى مما قد يُتوقع عادةً من عدد معلماتها، مما يجعلها أكثر كفاءة في النشر حيث تكون الذاكرة أو الكمون عوامل مهمة.

الأداء على Multilingual MTEB v2

يعد Multilingual MTEB v2 معيارًا شاملًا يقيم النماذج عبر مهام متنوعة، بما في ذلك:

  • التصنيف: تحديد فئة من النص.
  • التجميع: تجميع الوثائق المتشابهة.
  • تصنيف الأزواج: تحديد ما إذا كانت جملتان متشابهتين.
  • الاسترجاع: العثور على الوثيقة الأكثر صلة باستعلام معين.

من خلال تحقيق نتائج رائدة في هذا المعيار عند الإصدار، تُظهر عائلة Harrier مستوى عالٍ من الكفاءة في الاسترجاع عبر اللغات، وهو أمر ذو قيمة خاصة للتطبيقات العالمية حيث قد يحتاج النظام إلى معالجة الاستعلامات والوثائق بلغات مختلفة ضمن نفس فضاء المتجهات.

الملاحظات الرئيسية

  • نتائج رائدة متعددة اللغات: تضم العائلة ثلاثة نماذج (270M، 0.6B، و27B) حققت نتائج رائدة على معيار Multilingual MTEB v2 اعتبارًا من تاريخ إصدارها.
  • أساس يعتمد على المفسر فقط: بدلاً من المشفّرين من نوع BERT، تستخدم هذه النماذج هياكل تعتمد على المفسر فقط مع تجميع آخر رمز وتطبيع L2.
  • سياق موسع 32k: تدعم جميع النماذج نافذة سياق 32,768 رمزًا، مما يسمح بتمثيل الوثائق الطويلة أو قواعد الكود دون فقدان دلالي.
  • استرجاع يعتمد على التعليمات: يتطلب الأداء الأفضل تعليمات على جانب الاستعلام (وصف مهمة بجملة واحدة مسبوقة بالمدخل)، بينما يجب ترميز الوثائق دون أي تعليمات.
  • جودة عبر الاستخلاص: تم تدريب النماذج الأصغر 270M (640 بعد) و0.6B (1,024 بعد) باستخدام استخلاص المعرفة من نماذج التضمين الأكبر لتحسين جودة تمثيلها الدلالي بالنسبة لعدد معلماتها.

المصدر: MarkTechPost

أحدث في الذكاء الاصطناعي

مقالات سابقة في الذكاء الاصطناعي