أهم 7 معايير لتقييم قدرة الوكلاء في نماذج اللغة الكبيرة

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ٢٦ أبريل ٢٠٢٦

مع انتقال وكلاء الذكاء الاصطناعي من عروض البحث إلى النشر الإنتاجي، أصبح سؤال جوهري لا يمكن تجاهله: كيف تعرف فعليًا ما إذا كان الوكيل جيدًا؟ لا توفر درجات التعقيد ومؤشرات MMLU معلومات كافية حول ما إذا كان النموذج قادرًا على التنقل عبر موقع ويب حقيقي، أو حل مشكلة على GitHub، أو التعامل بشكل موثوق مع سير عمل خدمات العملاء عبر مئات التفاعلات. وقد استجابت الحقل مع تدفق من المعايير المتعلقة بالوكلاء، ولكن ليس جميعها لها نفس الأهمية.

قبل الغوص في التفاصيل، الجدير بالذكر أن درجات المعايير تعتمد بشكل كبير على العديد من العوامل مثل تصميم النموذج، وتصميم المطالبات، والوصول إلى الأدوات، وبيئة التنفيذ. لذا، يجب عدم قراءة أي رقم بمعزل عن سياقه، حيث أن السياق الذي تم فيه إنتاجه مهم تمامًا مثل الرقم نفسه. مع وضع ذلك في الاعتبار، إليك سبعة معايير ظهرت كإشارات حقيقية لقدرات الوكلاء، موضحة ما تختبره كل منها ولماذا تعتبر مهمة.

1. SWE-bench

الموقع: swebench.com

ما تختبره: البرمجة الهندسية الواقعية.

SWE-bench يقيم نماذج اللغة الكبيرة ووكلاء الذكاء الاصطناعي على قدرتهم على حل مشاكل البرمجة الهندسية الواقعية، مستخدمًا 2294 مشكلة مستمدة من مشاكل GitHub عبر 12 مستودعًا شائعًا بلغة Python. يجب على الوكيل إنتاج تصحيح عملي - ليس وصفًا للإصلاح، ولكن كودًا فعليًا يمر عبر اختبارات الوحدة.

أهمية المعايير: تعتبر SWE-bench واحدة من أكثر المعايير موثوقية للتقدم على المدى الطويل في هذا المجال، حيث سجل نموذج Claude 2 في البداية قدرة على حل 1.96% فقط من المشكلات. ومع ذلك، في النتائج التي أبلغ عنها البائعون في أواخر عام 2025 وأوائل عام 2026، تجاوزت النماذج الرائدة 80% في SWE-bench.

2. GAIA

الموقع: huggingface.co/spaces/gaia-benchmark/leaderboard

ما تختبره: قدرات المساعد العامة التي تتطلب تفكير متعدد الخطوات، وتصفح الويب، واستخدام الأدوات، وفهم متعدد الوسائط الأساسي.

GAIA يتميز بمهام تبدو بسيطة في التعبير، لكنها تتطلب سلسلة من العمليات غير التافهة لإكمالها بشكل صحيح - مثل نوع المهام المركبة التي قد يواجهها مساعد حقيقي في الحياة اليومية.

أهمية المعايير: يُعتبر GAIA من المعايير القياسية في أبحاث تقييم الوكلاء، حيث يتم تقديم النتائج من قبل فرق المجتمع بشكل نشط. تصميم GAIA يقاوم اتخاذ الاختصارات مما يجعله أحد الأدوات الأكثر صدقًا في قياس فعالية الوكلاء.

3. WebArena

الموقع: webarena.dev

ما تختبره: التنقل الذاتي عبر الويب في بيئات واقعية.

WebArena ينشئ مواقع ويب عبر أربعة مجالات - التجارة الإلكترونية، المنتديات الاجتماعية، تطوير البرمجيات التعاونية، وإدارة المحتوى - مع وظائف حقيقية وبيانات تعكس نظرائها في العالم الحقيقي. يجب على الوكلاء تفسير الأوامر الطبيعية عالية المستوى وتنفيذها بالكامل من خلال واجهة المتصفح الحية.

أهمية المعايير: تقدم WebArena تقدمًا كبيرًا، حيث أبلغت الأنظمة المتخصصة عن معدلات إكمال المهام الفردية التي تتجاوز 60% بحلول أوائل عام 2025.

4. τ-bench (Tau-bench)

الموقع: github.com/sierra-research/tau-bench

ما تختبره: تفاعل الأداة-الوكيل-المستخدم تحت قيود سياسة العالم الواقعي.

τ-bench يحاكي محادثات متعددة الأدوار بين مستخدم افتراضي ووكيل لغة مزود بأدوات API محددة المجال وإرشادات سياسية، مما يغطي مجالات مثل التجارة والرحلات الجوية.

أهمية المعايير: تكشف τ-bench عن أزمة موثوقية لا تدركها معظم المعايير المفردة، مما يجعلها أداة مهمة في تقييم الأداء.

5. ARC-AGI-2

الموقع: arcprize.org/leaderboard

ما تختبره: الذكاء السائل - القدرة على التعميم إلى ألغاز بصرية جديدة حقيقية.

كل مهمة تقدم للوكيل عددًا صغيرًا من أمثلة الإدخال-الإخراج وتطلب منه استنتاج القاعدة المجردة الأساسية.

أهمية المعايير: ARC-AGI-2 تم تصميمه لإغلاق الثغرات الموجودة في النسخة السابقة (ARC-AGI-1) ويعتبر نقطة محورية في مسابقة ARC Prize.