إطلاق Parcae: بنية مستقرة لنماذج اللغة المتكررة

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ١٦ أبريل ٢٠٢٦

أعلن فريق من الباحثين من جامعة كاليفورنيا في سان دييغو (UCSD) وشركة Together AI عن إطلاق نموذج Parcae، وهو نموذج متكرر مستقر يهدف إلى تحسين جودة نماذج اللغة دون الحاجة إلى زيادة كبيرة في عدد المعاملات أو البيانات المستخدمة في التدريب. هذا التطور يأتي في وقت يتزايد فيه الطلب على كفاءة النماذج في بيئات النشر، حيث تستهلك عمليات الاستنتاج حصة متزايدة من الحوسبة.

ما هو نموذج اللغة المتكرر؟

في النماذج التقليدية المعتمدة على Transformer، تتدفق التفاعلات عبر مجموعة من الطبقات الثابتة مرة واحدة فقط. أما في البنية المتكررة، يتم توجيه التفاعلات عبر مجموعة من الطبقات عدة مرات، مما يزيد من القدرة الحسابية دون إضافة مزيد من المعاملات. يمكن تشبيه الأمر بتكرار نفس مجموعة الكتل التحويلية بدلاً من بناء نموذج أطول.

تصميم Parcae

يستخدم نموذج Parcae تصميمًا متكررًا مركزيًا يقسم البنية إلى ثلاثة كتل وظيفية:

• Prelude (P): يقوم بترميز تسلسل الإدخال إلى حالة كامنة.
• Recurrent Block (R): يقوم بتحديث الحالة المخفية بشكل تكراري.
• Coda (C): يعالج الحالة النهائية لإنتاج الإخراج.

هذا الهيكل يحافظ على حجم النموذج صغيرًا في الذاكرة، وهو خاصية قيمة للنشر على الأجهزة.

التحديات السابقة في النماذج المتكررة

تواجه النماذج المتكررة السابقة، مثل Recurrent Depth Models (RDMs)، صعوبات في التدريب بسبب انفجار حالة المتبقي، مما يؤدي إلى زيادة غير قابلة للتحكم في المتجه المخفي عبر التكرارات. هذه النماذج تتطلب ضبطًا دقيقًا للمعاملات لتحقيق التقارب.

تحقيق الاستقرار في Parcae

تتمثل الرؤية الرئيسية لفريق البحث في إعادة صياغة عملية النموذج المتكرر كسلسلة زمنية غير خطية متغيرة مع مرور الوقت، مما يسمح بتحديد شروط الاستقرار. بدلاً من معالجة المعاملات مباشرة، يعمل Parcae في شكل مستمر ويستخدم تقنيات مأخوذة من نماذج الفضاءات الحالة لضمان استقرار النموذج أثناء التدريب.

نتائج الأداء مقارنة بالنماذج الأخرى

عند مقارنة Parcae بنماذج RDMs المدربة على مجموعة بيانات Huginn، أظهرت النتائج انخفاضًا في تعقيد التحقق يصل إلى 6.3%، مع تحسن ملحوظ في أداء النموذج عند 350 مليون معامل. كما أثبت Parcae فعاليته مقارنة بالنماذج الثابتة، حيث تفوق في الأداء عند كل مستوى تم اختباره.

قوانين التوسع الجديدة

أحد المساهمات الرئيسية لهذا البحث هو تطوير قوانين التوسع القابلة للتنبؤ للطبقات المتكررة. تظهر التجارب أن التدريب الأمثل يتطلب زيادة تكرار المتوسط وعدد الرموز التدريبية في نفس الوقت، مما يوفر فرصًا جديدة لتحسين الجودة دون الحاجة إلى شراء المزيد من الأجهزة.

استنتاجات رئيسية

نموذج Parcae يمثل خطوة مهمة نحو تحقيق نماذج متكررة يمكن تدريبها بشكل موثوق على نطاق واسع. حيث يمكن لنموذج Parcae المكون من 770 مليون معامل أن ينافس جودة نموذج Transformer بحجم 1.3 مليار معامل، مما يعني تحقيق كفاءة في المعاملات تصل إلى 87.5% من جودة النموذج الأكبر.

تقدم هذه المساهمات فرصة جديدة للمتخصصين في الذكاء الاصطناعي لتحسين الأداء في نماذج اللغة، مما يعكس التقدم المستمر في هذا المجال.