OpenMythos: مشروع مفتوح المصدر يعيد بناء Claude Mythos

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ٢٠ أبريل ٢٠٢٦

أطلقت مجموعة من الباحثين مشروعًا مفتوح المصدر يحمل اسم OpenMythos، والذي يهدف إلى إعادة بناء معمارية Claude Mythos بشكل نظري باستخدام PyTorch. يأتي هذا المشروع بعد عدم نشر أي ورقة تقنية رسمية عن Claude Mythos من قبل شركة Anthropic، مما دفع المجتمع البحثي إلى النظر في فرضيات متعددة حول تصميمه.

ما هو OpenMythos؟

OpenMythos هو مشروع طموح يسعى لتقديم نموذج يعتمد على مبادئ أولية، حيث يُعتبر إعادة بناء للمعمارية المفترضة لـ Claude Mythos. هذا النموذج ليس تسريبًا أو تعديلًا لنموذج موجود، بل هو فرضية تم تنفيذها ككود، مما يجعلها قابلة للاختبار.

الفرضية الأساسية: Claude Mythos كتحويل عميق متكرر

يقترح OpenMythos أن Claude Mythos ينتمي إلى فئة من المعماريات تُعرف باسم Transformers المتكررة العميقة (Recurrent-Depth Transformers - RDTs). هذه الفئة تختلف بشكل أساسي عن نماذج التحويل التقليدية مثل GPT وLLaMA، حيث تمر البيانات من خلال سلسلة من الطبقات الفريدة، كل منها يحمل أوزانًا مستقلة.

في نموذج RDT، يتم تطبيق مجموعة ثابتة من الأوزان بشكل تكراري عبر عدد معين من الخطوات داخل تمريرة واحدة. هذا يعني أن العمق في التفكير ليس مرتبطًا بعدد المعلمات المخزنة، بل بعدد التكرارات التي تتم أثناء الاستدلال. يمكن تشبيه الأمر بتحسين مسودة نص بدلاً من قراءة كتاب.

هيكل المعمارية

يتكون OpenMythos من هيكل ثلاثي الأجزاء: Prelude → Recurrent Block → Coda. حيث تعمل Prelude وCoda كطبقات تحويل تقليدية تُنفذ مرة واحدة، بينما يعتبر Recurrent Block هو القلب الحسابي الذي يُكرر حتى 16 مرة. في كل خطوة تكرارية، يتم تحديث الحالة المخفية وفقًا لقواعد معينة.

التفكير في الفضاء الكامن المستمر

من الخصائص المهمة لهذه المعمارية هو أن التفكير يحدث بالكامل في الفضاء الكامن المستمر. لا ينتج النموذج نصًا بين خطوات التكرار، مما يميزه عن طرق التحفيز التقليدية التي تعتمد على تسلسل الرموز. هذه الهيكلية تسمح للنموذج بالتفكير في خطوات بديلة متعددة في آنٍ واحد، مما يعزز من قدراته على معالجة المعلومات.

حل مشكلة الاستقرار

تواجه النماذج المتكررة عادةً مشكلات مثل انفجار المتبقيات، حيث يمكن أن تنمو الحالة المخفية بشكل غير محدود عبر التكرارات. يتناول OpenMythos هذه المشكلات من خلال تطبيق قيود معينة تضمن الاستقرار.

أهمية كفاءة المعلمات

تشير الأبحاث إلى أن نموذج RDT المكون من 770 مليون معلمة يمكن أن يحقق أداءً مكافئًا لنموذج تحويل تقليدي يتكون من 1.3 مليار معلمة. يشير ذلك إلى أن العمق في التفكير يمكن أن يتزايد مع زيادة الحساب أثناء الاستدلال، وليس بناءً على عدد المعلمات المخزنة.

ما يقدمه OpenMythos

يقدم OpenMythos أربعة عناصر بحثية ملموسة: تنفيذ قابل للتكوين لنموذج RDT باستخدام MoE وMulti-Latent Attention; دمج قيود الاستقرار; موصلات LoRA لتمكين التمايز السلوكي; وقاعدة بحثية قابلة للتكرار لدراسة ديناميات التحويل المتكرر.

بغض النظر عما إذا كانت Mythos هي بالفعل RDT، يقدم OpenMythos للمجتمع البحثي شيئًا ملموسًا يمكن تجربته، مما قد يمثل مسارًا مختلفًا نحو الذكاء الاصطناعي القادر.