العلامة التقنية

موقع تقني عربي متخصص في أخبار التكنولوجيا والذكاء الاصطناعي

تنفيذ برمجي لتشغيل نماذج Qwen3.5 باستخدام GGUF وتقنية 4-بت

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي
تنفيذ برمجي لتشغيل نماذج Qwen3.5 باستخدام GGUF وتقنية 4-بت

تعلم كيفية تشغيل نماذج Qwen3.5 باستخدام GGUF وتقنية 4-بت في Google Colab.

في هذا المقال، نستعرض كيفية تنفيذ نماذج Qwen3.5 باستخدام أسلوب التفكير المشابه لأسلوب Claude، ونقوم بإنشاء مسار عمل عبر Google Colab يتيح لنا التبديل بين نموذج GGUF بحجم 27 مليار ونموذج خفيف الوزن بحجم 2 مليار بدقة 4 بت باستخدام علامة واحدة فقط. سنبدأ بالتحقق من توفر وحدة معالجة الرسوميات (GPU) ثم نقوم بتثبيت المكتبات اللازمة وفقًا للطريق المختار.

التحقق من توفر GPU

نبدأ بالتحقق مما إذا كانت وحدة معالجة الرسوميات متاحة على النظام. إذا لم تكن متوفرة، سنقوم بإظهار رسالة خطأ توضح ذلك. هذا الأمر مهم لأن تشغيل النماذج الكبيرة يتطلب قدرات معالجة متقدمة.

import torch
if not torch.cuda.is_available():
    raise RuntimeError("No GPU! Go to Runtime → Change runtime type → T4 GPU.")

تثبيت المكتبات اللازمة

بعد التأكد من توفر GPU، نقوم بتثبيت المكتبات الضرورية. إذا كنا نستخدم النموذج بحجم 27 مليار، نقوم بتثبيت مكتبة llama.cpp مع دعم CUDA. أما إذا كنا نستخدم النموذج بحجم 2 مليار، فنقوم بتثبيت مكتبة transformers مع bitsandbytes.

if MODEL_PATH == "27B_GGUF":
    print("\nInstalling llama-cpp-python with CUDA...")
    subprocess.check_call([sys.executable, "-m", "pip", "install", "-q", "llama-cpp-python", "huggingface_hub"], env=env)

تنزيل النموذج وتحميله

نقوم بتنزيل النموذج Qwen3.5 27B من Hugging Face باستخدام hf_hub_download، ثم نحمله في llama.cpp مع إمكانية الاستفادة من GPU.

model_path = hf_hub_download(repo_id=GGUF_REPO, filename=GGUF_FILE)

تهيئة دوال التنفيذ والتدفق

نقوم بتعريف دوال generate_fn وstream_fn، اللتين ستستخدمان لتوليد الاستجابات وتدفق النتائج على التوالي. تضمن هذه الدوال أن يكون استدعاء النموذج موحدًا عبر جميع المسارات.

def generate_fn(prompt, system_prompt="You are a helpful assistant. Think step by step.", max_new_tokens=2048):
    output = llm.create_chat_completion(...)
    return output["choices"][0]["message"]["content"]

إدارة جلسات الدردشة

قمنا بإنشاء فئة ChatSession لإدارة التفاعل متعدد الأدوار، مما يسمح لنا بالحفاظ على تاريخ الرسائل بين المستخدم والمساعد. هذه الفئة تسهل إدارة المحادثات وتجعلها أكثر سلاسة.

class ChatSession:
    def __init__(self, system_prompt="You are a helpful assistant. Think step by step."):
        self.messages = [{"role": "system", "content": system_prompt}]

التحويل إلى نموذج 2B

إذا اخترنا النموذج بحجم 2 مليار، نقوم بتثبيت مكتبة transformers مع دعم 4-بت. نستخدم BitsAndBytesConfig لتحميل النموذج بكفاءة على GPU.

تحليل النتائج

نقوم أيضًا بتنفيذ دالة لتحليل النتائج المستخرجة من النموذج، مما يساعدنا في فصل عملية التفكير عن النتائج النهائية. هذا يمكننا من تحسين أداء النموذج وتحقيق نتائج دقيقة.

def parse_thinking(response: str) -> tuple:
    m = re.search(r"(.*?)", response, re.DOTALL)
    if m:
        return m.group(1)

باستخدام هذه الخطوات، نكون قد أنشأنا نظامًا متكاملًا لتشغيل نماذج Qwen3.5 بأسلوب Claude، مما يتيح لنا التبديل بين نماذج مختلفة بسهولة ومرونة. هذا التنفيذ يمكن أن يكون مفيدًا للباحثين والمطورين الذين يسعون لتجربة النماذج المختلفة وتحسين أدائها.

المصدر: MarkTechPost

أحدث في الذكاء الاصطناعي

مقالات سابقة في الذكاء الاصطناعي