فشل فرضية LoRA في الإنتاج

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ٢٧ أبريل ٢٠٢٦

تعتبر LoRA (اختصار Low-Rank Adaptation) واحدة من التقنيات الشائعة المستخدمة لتحسين أداء النماذج الكبيرة، حيث تتميز بكفاءتها العالية. ومع ذلك، فإن هذه التقنية تعتمد على فرضية غير صحيحة مفادها أن جميع التحديثات في النموذج متشابهة، وهو ما لا يعكس الواقع. فعند تحسين النموذج من ناحية الأسلوب مثل النغمة أو الشكل، تكون التغييرات بسيطة ومركزة في أبعاد قليلة، وهذا ما تتعامل معه LoRA بشكل جيد من خلال تحديثات منخفضة الرتبة.

لكن عندما يكون الهدف هو تعليم النموذج معلومات جديدة تتعلق بالحقائق، مثل البيانات الطبية أو الإحصائيات، فإن المعلومات تتوزع عبر العديد من الأبعاد. في هذه الحالة، لا تستطيع إعدادات الرتبة المنخفضة (مثل رتبة 8) استيعاب كل هذه المعلومات، مما يؤدي إلى أن يبدو النموذج صحيحًا ولكنه يعطي إجابات خاطئة أو غير مكتملة.

مشكلة زيادة الرتبة

محاولة إصلاح هذا الخلل من خلال زيادة الرتبة تؤدي إلى مشكلة أخرى وهي عدم الاستقرار. مع زيادة الرتبة، يتسبب القياس المستخدم في LoRA القياسية في إضعاف إشارة التعلم، مما يجعل التدريب غير فعال. لذلك، تم تطوير RS-LoRA، الذي يقوم بتعديل بسيط في صيغة القياس، حيث يتم التحويل من القسمة على r إلى القسمة على جذر r (√r). هذا التعديل البسيط يساعد النموذج على الاحتفاظ بالمعلومات المعقدة وعالية الأبعاد دون أن يؤدي ذلك إلى كسر عملية التدريب.

آلية العمل في RS-LoRA

في التجارب التي أجريناها، قمنا بمحاكاة نوعين من تحديثات الوزن، حيث تمثل التحديثات الأسلوبية تغييرات منخفضة الرتبة، بينما تمثل التحديثات المعلوماتية تغييرات عالية الرتبة. من خلال استخدام مكتبة NumPy، استطعنا قياس مدى فعالية كل من LoRA القياسية وRS-LoRA في استعادة هذه التحديثات. بينت النتائج أن LoRA القياسية، على الرغم من أنها تعمل بشكل جيد للتحديثات الأسلوبية، إلا أنها تفشل في استعادة التحديثات العالية الرتبة.

عندما قمنا بتقييم أخطاء الاستعادة باستخدام قياسات مختلفة، وجدنا أن الأخطاء تبقى مرتفعة للتحديثات المعلوماتية في الرتبة المنخفضة، مما يدل على أن المعلومات الهامة تتعرض للفقد. في المقابل، RS-LoRA أظهرت استقرارًا أكبر، حيث انخفضت الأخطاء بشكل أكثر انتظامًا مع زيادة الرتبة، مما يجعلها أكثر ملاءمة لالتقاط المعرفة المعقدة وعالية الأبعاد.

نتائج التجارب

بالتحديد، قمنا بمحاكاة تحديثات الوزن باستخدام مصفوفة وزن مسبقة التدريب بحجم 64×64. تم تقديم تحديثات منخفضة الرتبة وأخرى عالية الرتبة، مع إعدادات مختلفة من الرتبة لكل منهما. أظهرت النتائج أن التحديثات الأسلوبية تتطلب رتبة منخفضة (مثل 4 أو 8) لتحقيق أدنى مستوى من الأخطاء، بينما ظلت الأخطاء مرتفعة للتحديثات المعلوماتية حتى مع زيادة الرتبة، مما يُظهر التحديات التي تواجهها LoRA القياسية.

تظهر هذه النتائج أهمية استخدام RS-LoRA، حيث أن التعديل على صيغة القياس يساهم في تحسين فعالية التعلم ويساعد في الحفاظ على المعلومات المعقدة. إن فهم هذه العوامل يعتبر أمرًا حيويًا للمطورين والباحثين الذين يعملون على تحسين نماذج الذكاء الاصطناعي.