مون شوت AI تطلق Attention Residuals لتحسين أداء Transformers

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ١٧ مارس ٢٠٢٦

أعلنت شركة مون شوت AI عن إطلاق تقنية جديدة تُعرف بـ Attention Residuals، التي تهدف إلى استبدال آلية تراكم التحمل الثابت في نماذج Transformers بتقنية تعتمد على الانتباه العميق. تعتبر الاتصالات التراكمية واحدة من العناصر الأساسية التي لا تُشكك فيها تصاميم Transformers الحديثة، حيث تساهم في الحفاظ على استقرار عملية التحسين وتساعد النماذج العميقة على التدريب بفعالية.

لكن، يشير الباحثون في مون شوت AI إلى أن هذه الآلية القياسية تُدخل مشكلة هيكلية، حيث يتم تجميع جميع مخرجات الطبقات السابقة بأوزان ثابتة، مما يتسبب في زيادة شدة الحالة الخفية مع العمق ويُضعف تدريجياً مساهمة أي طبقة فردية.

التحديات مع الاتصالات التراكمية القياسية

حدد فريق البحث ثلاث مشكلات رئيسية تتعلق بتراكم الاتصالات القياسية:

• عدم وجود وصول انتقائي: تتلقى جميع الطبقات نفس الحالة المجمعة على الرغم من أن الطبقات المعتمدة على الانتباه وطبقات التغذية الأمامية أو MoE قد تستفيد من خلطات مختلفة من المعلومات السابقة.
• فقدان لا يمكن استرداده: بمجرد مزج المعلومات في تيار واحد، لا يمكن للطبقات اللاحقة استرداد تمثيلات سابقة معينة.
• زيادة المخرجات: تميل الطبقات الأعمق إلى إنتاج مخرجات أكبر لتظل مؤثرة داخل حالة متزايدة، مما يمكن أن يُزعزع استقرار التدريب.

تستبدل تقنية Attention Residuals هذه التكرارات الثابتة مع انتباه صريح على المخرجات السابقة.

تقنية Full AttnRes

في تصميم Full AttnRes، تحسب كل طبقة أوزان الانتباه على جميع المصادر السابقة. التصميم الافتراضي لا يستخدم استعلام مشروط على المدخلات. بدلاً من ذلك، تحتوي كل طبقة على متجه استعلام زائف خاص بالطبقة، بينما تأتي المفاتيح والقيم من تمثيل الرموز ومخرجات الطبقات السابقة بعد تطبيق RMSNorm، الذي يساعد في منع المخرجات ذات الشدة الكبيرة من الهيمنة على أوزان الانتباه.

تقنية Block AttnRes

لجعل هذه الطريقة قابلة للاستخدام على نطاق واسع، قدم فريق مون شوت تقنية Block AttnRes. بدلاً من الانتباه إلى كل المخرجات السابقة، يقوم النموذج بتقسيم الطبقات إلى كتل. داخل كل كتلة، يتم تجميع المخرجات في تمثيل كتلي واحد، ويتم تطبيق الانتباه فقط على تلك التمثيلات الكتلية بالإضافة إلى تمثيل الرموز.

هذا يقلل من الحمل على الذاكرة والاتصالات، مما يجعل التقنية أكثر عملية خلال التدريب والتنبؤ الموزع.

نتائج القياس والتقييم

قيم فريق البحث خمسة أحجام للنماذج وقاموا بمقارنة ثلاثة متغيرات في كل حجم: نقطة الأساس PreNorm، وFull AttnRes، وBlock AttnRes مع حوالي ثمانية كتل. أظهرت النتائج أن Attention Residuals حققت انخفاضًا في خسارة التحقق عبر نطاق الحوسبة المختبر، حيث تطابقت Block AttnRes مع خسارة نقطة الأساس المدربة باستخدام حوالي 1.25 ضعف من الحوسبة.

تكامل AttnRes مع Kimi Linear

تم دمج Attention Residuals أيضًا في Kimi Linear، وهي معمارية MoE تحتوي على 48 مليار معلمة و3 مليارات معلمة مفعلة، وتم تدريبها مسبقًا على 1.4 تريليون توكن. وفقًا للبحث، تُخفف هذه التقنية من تمييع PreNorm من خلال الحفاظ على شدة المخرجات أكثر توازنًا عبر العمق.

استنتاجات رئيسية

• تستبدل Attention Residuals تراكم الاتصالات الثابتة مع الانتباه على الطبقات السابقة.
• تصميم AttnRes الافتراضي يستخدم استعلام زائف خاص بالطبقة.
• تقلل Block AttnRes من الحمل على الذاكرة والاتصالات.
• تحقق AttnRes خسارة قياس أقل مقارنة بنقطة الأساس.