Moonshot AI والباحثون في جامعة تسينغوا يقدمون PrfaaS لتقديم LLMs

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ٢٠ أبريل ٢٠٢٦

على مدار سنوات، كانت طريقة التعامل مع الاستدلال في نماذج اللغة الكبيرة (LLMs) محصورة ضمن قيود معينة، حيث كان يتم تنفيذ كل من عملية التهيئة (prefill) والترميز (decode) في نفس مركز البيانات، وأحيانًا حتى في نفس الرف. ولكن فريقًا من الباحثين في Moonshot AI وجامعة تسينغوا يسعى إلى تغيير هذا الوضع من خلال اقتراحهم المعماري الجديد المعروف باسم Prefill-as-a-Service (PrfaaS).

تحديات الهيكل الحالي لنماذج اللغة الكبيرة

لفهم ما يحلّه PrfaaS، من الضروري معرفة سبب تقسيم خدمة LLMs إلى مرحلتين. المرحلة الأولى هي التهيئة، حيث يقوم النموذج بمعالجة جميع الرموز المدخلة وإنتاج KVCache، وهي عملية كثيفة الاستخدام للموارد الحاسوبية. أما المرحلة الثانية، الترميز، فتتطلب ذاكرة واسعة النطاق حيث يقوم النموذج بتوليد الرموز الناتجة واحدة تلو الأخرى. هذا الفصل بين المرحلتين يخلق مشكلة في النقل، حيث يجب نقل KVCache المنتج من مرحلة التهيئة إلى مرحلة الترميز قبل بدء توليد المخرجات.

التحول المعماري وتأثيره

تأتي أهمية PrfaaS في ظل تحول معماري يحدث على مستوى النماذج. حيث تتبنى مجموعة متزايدة من النماذج، مثل Kimi Linear وMiMo-V2-Flash، هياكل انتباه هجينة تجمع بين عدد قليل من طبقات الانتباه الكاملة مع عدد أكبر من الطبقات ذات التعقيد الخطي. في هذه الهياكل، فقط الطبقات الكاملة تنتج KVCache التي تتناسب مع طول التسلسل، مما يقلل بشكل كبير من حجم البيانات المطلوبة.

كيفية عمل PrfaaS

يعتمد هيكل PrfaaS-PD على ثلاثة أنظمة فرعية: الحوسبة، الشبكة، والتخزين. يفصل نظام الحوسبة بين مجموعات البيانات إلى نوعين — مجموعات PD المحلية التي تتعامل مع الاستدلال النهائي للطلبات القصيرة، ومجموعات PrfaaS المخصصة للتهيئة الطويلة. يستخدم نظام الشبكة RDMA السريع للنقل المحلي وEthernet العادي لنقل KVCache عبر المجموعات. بينما يقوم نظام التخزين ببناء مجموعة تخزين موزعة تدير حالتين من التخزين.

آلية توجيه الطلبات

تستخدم آلية التوجيه آلية تعتمد على طول الطلب، حيث يتم توجيه الطلبات الطويلة إلى مجموعة PrfaaS، بينما تبقى الطلبات القصيرة ضمن المسار المحلي. في الدراسة التي أجراها الفريق، تم تحديد العتبة المثلى لتوجيه الطلبات الطويلة عند 19.4K رمز، مما أدى إلى توجيه حوالي 50% من الطلبات.

نتائج الدراسة والتوقعات المستقبلية

في الدراسة، تم استخدام مجموعة PrfaaS مكونة من 32 وحدة معالجة رسومية من نوع H200 مع مجموعة PD محلية تحتوي على 64 وحدة H20، مع اتصال شبكة يوفر حوالي 100 جيجابت في الثانية. أظهرت النتائج أن الحمل الإجمالي لمجموعة PrfaaS ضمن التكوين الأمثل كان حوالي 13 جيجابت في الثانية، مما يمثل 13% فقط من سعة Ethernet المتاحة.

تتوقع الأبحاث أن حتى عند النشر على نطاق واسع، مثل مركز بيانات يحتوي على 10,000 وحدة معالجة رسومية، فإن عرض النطاق الترددي المطلوب لنقل KVCache سيظل ضمن القدرة الاستيعابية للوصلات الحديثة بين مراكز البيانات.

بشكل عام، يمثل PrfaaS خطوة مهمة نحو تحسين كيفية خدمة نماذج اللغة الكبيرة، مما يتيح معالجة أكثر كفاءة ويحل مشاكل النقل المتعلقة بالبيانات. هذه التطورات يمكن أن تحدث ثورة في كيفية بناء أنظمة الذكاء الاصطناعي في المستقبل.