إطلاق FlashQLA: مكتبة كيرنل عالية الأداء للذكاء الاصطناعي

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ٢٩ أبريل ٢٠٢٦

أعلن فريق QwenLM عن إطلاق FlashQLA، وهي مكتبة كيرنل جديدة تعزز بشكل كبير السرعة القصوى للعمليات في شبكة Gated Delta Network (GDN) خلال تمريرات التشفير والتشفير العكسي. تستهدف هذه المكتبة الجديدة كلاً من التدريب على نطاق واسع وكذلك السيناريوهات التي تتطلب أداءً رائعًا على الحافة.

فهم أهمية المكتبة الجديدة

تتسابق الشركات في تطوير نماذج لغوية كبيرة لتكون أسرع وأرخص في التشغيل، لكن هناك جانب ثالث غالباً ما يتم تجاهله وهو كيرنل GPU. يمثل الكيرنل الروتين الحسابي المنخفض المستوى الذي ينفذ العمليات الرياضية على وحدة معالجة الرسوميات. يتطلب كتابة كيرنل جيد فهم الرياضيات، بالإضافة إلى تنسيق الذاكرة، جدولة التعليمات، وخصائص المعدات المستهدفة.

مكتبة FlashQLA: الابتكار والتفاصيل التقنية

تشكل FlashQLA مساهمة فريق QwenLM في هذا المجال، حيث تم إصدارها تحت ترخيص MIT وتبني على إطار عمل TileLang، وهي مكتبة كيرنل عالية الأداء مُحسّنة بشكل خاص لآلية الانتباه الخطية GDN، التي تدعم عائلات النماذج Qwen3.5 وQwen3.6.

التحديات مع الكيرنلز الحالية

قبل إطلاق FlashQLA، كانت التنفيذات القياسية لعمليات GDN تعتمد على مكتبة Flash Linear Attention (FLA)، التي تستخدم كيرنلز Triton، وهي لغة برمجة GPU تعتمد على Python طورتها OpenAI. على الرغم من أن Triton تسهل كتابة الكيرنلز، إلا أنها تأتي مع عيوب، حيث أن الكيرنلز التي تنتجها قد لا تكون مُجدولة بشكل أمثل للأجهزة المحددة، خصوصًا على بنية NVIDIA Hopper.

كيفية تحسين FlashQLA للأداء

تطبق مكتبة FlashQLA دمج العمليات وتحسين الأداء خلال كل من عمليات التشفير (التي تستخدم أثناء التدريب والاستدلال) والعمليات العكسية (التي تستخدم أثناء التدريب لحساب التدرجات). تؤدي هذه التحسينات إلى زيادة سرعة تصل إلى 2-3 مرات في العمليات الأمامية و2 مرة في العمليات العكسية مقارنة بكيرنل FLA.

الابتكارات التقنية الأساسية في FlashQLA

• التوازي السياقي التلقائي المدفوع بالبوابة: يستفيد من خاصية التلاشي الأسّي للبوابة في GDN لتقسيم التسلسلات الطويلة عبر وحدات معالجة متعددة.
• إعادة صياغة رياضية صديقة للأجهزة: تعيد صياغة العمليات الرياضية لتقليل الضغط على وحدات معالجة معينة دون فقدان الدقة العددية.
• كيرنلز مضغوطة متخصصة: تستخدم تقنية TileLang لإنشاء عدة كيرنلز مضغوطة وتحسين توزيع المهام بين مجموعات الوحدات.

نتائج الأداء والاختبارات

أظهرت اختبارات الأداء أن FlashQLA تفوقت على كيرنل FLA، حيث تم قياس زمن الاستجابة لكيرنل واحد عبر نماذج وتكوينات مختلفة. استخدمت الاختبارات إعدادات مختلفة للعرض والتوازي، مما أثبت فعالية المكتبة الجديدة في تحسين الأداء.

استنتاج

تعتبر FlashQLA مكتبة كيرنل عالية الأداء مطورة من قبل فريق Qwen، مُصممة لتلبية احتياجات عمليات GDN بكفاءة عالية. مع زيادة السرعة بنسبة تصل إلى 3 مرات، تُعزز المكتبة الجديدة من كفاءة التدريب والاستدلال على حواف الشبكة. FlashQLA مفتوحة المصدر تحت ترخيص MIT، مما يسهل على المطورين تكاملها ضمن مشاريعهم باستخدام CUDA.