العلامة التقنية

موقع تقني عربي متخصص في أخبار التكنولوجيا والذكاء الاصطناعي

Hugging Face تطلق TRL v1.0: إطار موحد لعمليات ما بعد التدريب

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي
Hugging Face تطلق TRL v1.0: إطار موحد لعمليات ما بعد التدريب

Hugging Face تطلق TRL v1.0، وهو إطار موحد لعمليات ما بعد التدريب، مما يسهل على المطورين تنفيذ تقنيات الذكاء الاصطناعي.

أعلنت شركة Hugging Face رسميًا عن إصدار TRL (تعلم التعزيز باستخدام المحولات) الإصدار 1.0، مما يمثل تحولًا محوريًا للمكتبة من مستودع موجه للأبحاث إلى إطار عمل مستقر جاهز للإنتاج. بالنسبة للمتخصصين في الذكاء الاصطناعي والمطورين، يُعد هذا الإصدار توثيقًا لخط أنابيب ما بعد التدريب، وهي السلسلة الأساسية من خطوات التعديل المدعوم (SFT)، نمذجة المكافأة، والمحاذاة، في واجهة برمجة تطبيقات موحدة ومعيارية.

في المراحل الأولى من ازدهار نماذج اللغة الكبيرة، كانت عمليات ما بعد التدريب تُعتبر غالبًا فنًا تجريبيًا غامضًا. يهدف TRL v1.0 إلى تغيير ذلك من خلال توفير تجربة مطور متسقة مبنية على ثلاثة أعمدة رئيسية: واجهة سطر الأوامر (CLI) مخصصة، نظام تكوين موحد، ومجموعة موسعة من خوارزميات المحاذاة بما في ذلك DPO، GRPO، وKTO.

الهيكل الموحد لعمليات ما بعد التدريب

تُعتبر مرحلة ما بعد التدريب هي المرحلة التي يتم فيها تحسين نموذج قاعدة مدرب مسبقًا لاتباع التعليمات، اعتماد نغمة معينة، أو إظهار قدرات تفكير معقدة. ينظم TRL v1.0 هذه العملية في مراحل متميزة ومتداخلة:

  • التعديل المدعوم (SFT): الخطوة الأساسية حيث يتم تدريب النموذج على بيانات تعليمات عالية الجودة لتكييف معرفته المدربة مسبقًا مع تنسيق محادثاتي.
  • نمذجة المكافأة: عملية تدريب نموذج منفصل للتنبؤ بتفضيلات البشر، والذي يعمل كـ "قاضي" لتقييم استجابات النموذج المختلفة.
  • المحاذاة (تعلم التعزيز): التكرار النهائي حيث يتم تحسين النموذج لتعظيم درجات التفضيل، سواء من خلال طرق "عبر الإنترنت" التي تنتج نصوصًا أثناء التدريب أو طرق "خارج الإنترنت" التي تتعلم من مجموعات بيانات تفضيل ثابتة.

توحيد تجربة المطور: واجهة سطر الأوامر TRL

من بين التحديثات الأكثر أهمية لمهندسي البرمجيات هو تقديم واجهة سطر الأوامر TRL القوية. سابقًا، كان يُطلب من المهندسين كتابة الكثير من التعليمات البرمجية القياسية والدورات التدريبية المخصصة لكل تجربة. يقدم TRL v1.0 نهجًا مدفوعًا بالتكوين يستخدم ملفات YAML أو معلمات سطر الأوامر المباشرة لإدارة دورة التدريب.

تقدم واجهة سطر الأوامر نقاط دخول موحدة للمرحلة الأساسية من التدريب. على سبيل المثال، يمكن الآن بدء تشغيل SFT عبر أمر واحد:

trl sft --model_name_or_path meta-llama/Llama-3.1-8B --dataset_name openbmb/UltraInteract --output_dir ./sft_results

تت integrated هذه الواجهة مع Hugging Face Accelerate، مما يسمح للأمر نفسه بالتوسع عبر تكوينات الأجهزة المتنوعة. سواء كان التشغيل على وحدة معالجة رسومات محلية واحدة أو عنقود متعدد العقد يستخدم تقنية Fully Sharded Data Parallel (FSDP) أو DeepSpeed، تدير الواجهة المنطق الأساسي للتوزيع.

خوارزميات المحاذاة: اختيار الهدف الصحيح

يُوحد TRL v1.0 عدة طرق لتعلم التعزيز، مصنفًا إياها بناءً على متطلبات البيانات والأعباء الحسابية. تشمل الأنواع:

  • PPO: عبر الإنترنت، يتطلب نماذج للسياسة، مرجع، مكافأة، ونموذج قيمة (ناقد). أكبر استهلاك لذاكرة الوصول العشوائي.
  • DPO: خارج الإنترنت، يتعلم من أزواج التفضيلات (المختار مقابل المرفوض) بدون نموذج مكافأة منفصل.
  • GRPO: عبر الإنترنت، طريقة تعتمد على السياسة تُزيل نموذج القيمة باستخدام المكافآت النسبية الجماعية.
  • KTO: خارج الإنترنت، يتعلم من إشارات "أعلى/أسفل" بدلاً من التفضيلات المزدوجة.
  • ORPO (تجريبي): طريقة من خطوة واحدة تجمع بين SFT والمحاذاة باستخدام خسارة نسبة الاحتمالات.

الكفاءة وتوسيع الأداء

لتلبية احتياجات النماذج ذات المليارات من المعلمات على الأجهزة الاستهلاكية أو المتوسطة، يدمج TRL v1.0 عدة تقنيات تركز على الكفاءة:

  • PEFT: دعم أصلي لـ LoRA وQLoRA يُمكن من تعديل النموذج عن طريق تحديث جزء صغير من أوزان النموذج، مما يقلل بشكل كبير من متطلبات الذاكرة.
  • تكامل Unsloth: يستفيد TRL v1.0 من أنوية متخصصة من مكتبة Unsloth. بالنسبة لعمليات SFT وDPO، يمكن أن يؤدي هذا التكامل إلى زيادة سرعة التدريب بمعدل 2x وتقليل استخدام الذاكرة بنسبة تصل إلى 70٪ مقارنة بالتطبيقات القياسية.
  • تعبئة البيانات: يدعم SFTTrainer التعبئة ذات الطول الثابت، مما يضمن أن كل رمز تتم معالجته يُساهم تقريبًا في تحديث التدرج.

استنتاجات رئيسية

يُوحد TRL v1.0 عمليات ما بعد التدريب لنماذج اللغة الكبيرة من خلال واجهة سطر الأوامر الموحدة، ونظام التكوين، وتدفق العمل للمدربين. يفصل الإصدار بين النواة المستقرة والطرق التجريبية مثل ORPO وKTO. يقلل GRPO من عبء التدريب المعزز من خلال إزالة نموذج الناقد المنفصل المستخدم في PPO. يدمج TRL تقنيات PEFT، تعبئة البيانات، وUnsloth لتحسين كفاءة التدريب واستخدام الذاكرة، مما يجعل SFT، نمذجة المكافأة، والمحاذاة أكثر قابلية للتكرار لفرق الهندسة.

المصدر: MarkTechPost

أحدث في الذكاء الاصطناعي

مقالات سابقة في الذكاء الاصطناعي