أفضل تقنيات ضغط ذاكرة KV لتحسين أداء نماذج اللغة الكبيرة

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ٢٩ أبريل ٢٠٢٦

تعتبر نماذج اللغة الكبيرة (LLMs) من أبرز التطورات في مجال الذكاء الاصطناعي، حيث تتيح معالجة كميات ضخمة من المعلومات والتفاعل مع المستخدمين بشكل فعال. ومع تزايد حجم هذه النماذج، أصبحت ذاكرة التخزين المؤقتة للبيانات (KV cache) تمثل عنق الزجاجة الرئيسي في أنظمة الاستدلال الإنتاجية. في هذا المقال، نستعرض أفضل عشر تقنيات لضغط ذاكرة KV التي يمكن أن تساعد في تقليل الحمل على الذاكرة وتحسين الأداء.

أهمية ضغط ذاكرة KV

تتطلب النماذج الكبيرة، مثل تلك التي تحتوي على 30 مليار معلمة، كميات هائلة من الذاكرة. على سبيل المثال، يمكن أن تشغل ذاكرة KV لنموذج يحتوي على 30 مليار معلمة بحجم 180 غيغابايت. بالمقارنة، يتطلب نموذج يحتوي على 7 مليارات معلمة حوالي 72 غيغابايت لذاكرة KV. يساهم ضغط هذه الذاكرة في تقليل الضغط على النظام وزيادة حجم الدفعات، مما يؤدي إلى تحسين الأداء دون الحاجة إلى إعادة تدريب النموذج الأساسي.

تقنية H2O (Heavy Hitter Oracle)

تعتبر تقنية H2O، التي تم نشرها في مؤتمر NeurIPS 2023، واحدة من الأساليب الأساسية في إخلاء الرموز من الذاكرة. تركز هذه الطريقة على فكرة أن نسبة صغيرة من الرموز تساهم في معظم درجات الانتباه خلال عملية التوليد، وتُعرف هذه الرموز باسم "Heavy Hitters". تقوم H2O بالاحتفاظ بتوازن ديناميكي بين الرموز الحديثة والرموز الثقيلة، مما يحافظ على حجم ثابت لذاكرة KV عبر طبقات Transformer. أظهرت الدراسات أن استخدام 20% من الرموز الثقيلة يمكن أن يحسن الأداء بمعدل يصل إلى 29 مرة مقارنةً بأسلوب Hugging Face Accelerate.

تقنية StreamingLLM

تستهدف تقنية StreamingLLM السيناريوهات التي تتطلب معالجة تدفقات إدخال طويلة أو غير محدودة. تعتمد هذه الاستراتيجية على الاحتفاظ بحالات KV للرموز الأولى التي تعمل كأحواض انتباه، وتجمعها مع نافذة من الرموز الحديثة حتى حدود الذاكرة المتاحة. تعتبر الرموز الأولية، بغض النظر عن محتواها الدلالي، دعامات هيكلية تتلقى انتباهاً عالياً خلال التوليد، مما يعني أن إسقاطها يمكن أن يؤدي إلى تدهور كبير في الدقة.

SnapKV

تستهدف تقنية SnapKV مرحلة ما قبل التعبئة، حيث تستخدم نافذة ملاحظة صغيرة في نهاية المدخلات لتوقع أهمية الرموز. تجمع هذه التقنية درجات الانتباه من الرموز في نافذة الملاحظة لتحديد المواقع المهمة في البادئة. بالمقارنة مع H2O، تعتبر SnapKV أكثر دقة في اختيار المواقع المهمة.

تقنية PyramidKV وPyramidInfer

تتناول تقنية PyramidKV القيود الموجودة في H2O وSnapKV من خلال تخصيص أحجام ذاكرة مختلفة لكل طبقة بناءً على بنية نمط الانتباه. تُعزز PyramidInfer هذه الفكرة من خلال قياس التناسق في أوزان الانتباه عبر الرموز الحديثة، مما يسهل استخراج الرموز الأساسية. أظهرت التجارب أن PyramidInfer تحسن الأداء بمعدل 2.2 مرة مقارنة بأسلوب Hugging Face Accelerate.

تقنية KIVI

تعتبر KIVI، التي نشرت في ICML 2024، خوارزمية ضغط ذاكرة KV تعتمد على التكميم بعمق 2 بت ولا تتطلب إعادة تدريب. تعمل هذه التقنية على تقليل الذاكرة المستخدمة من خلال تحسين جودة التوليد مع الحفاظ على أداء عالي.

تقنية KVQuant

تجمع KVQuant بين تقنيات متعددة لتقليل دقة الذاكرة، مما يسمح بالتعامل مع سياقات طويلة جداً مع الحفاظ على دقة عالية. تم تقييم هذه التقنية في سياقات تصل إلى 10 مليون رمز.

TurboQuant

تستهدف TurboQuant، التي طورتها Google Research، معالجة ضعف التقنيات السابقة من خلال استخدام توزيع عشوائي للبيانات قبل التكميم، مما يؤدي إلى تقليل الذاكرة بشكل كبير وزيادة سرعة الحسابات.

تقنيات MQA وGQA

تعد MQA وGQA تعديلات معمارية تهدف إلى تقليل حجم ذاكرة KV من خلال التصميم، مما يسهل تحسين الأداء العام للنماذج.

تساهم هذه التقنيات العشر في تحسين أداء نماذج اللغة الكبيرة من خلال تقليل الحمل على الذاكرة، مما يتيح زيادة حجم الدفعات وتحسين سرعة المعالجة. مع استمرار تطور الأبحاث في هذا المجال، من المتوقع أن نشهد المزيد من الابتكارات التي تعزز من فعالية نماذج الذكاء الاصطناعي.