Technical Tutorials

در دنیای پرهیاهو و در حال تحول سریع مدل‌های زبانی بزرگ (LLMs)، چند نامی به اندازه Mistral AI در سال گذشته هیجان و بحث‌های فنی زیادی ایجاد کرده است. این شرکت که توسط پژوهشگران سابق Meta AI تأسیس شده است، به سرعت خود را به عنوان یک نیروی پیشرو در اکوسیستم مدل‌های متن‌باز تثبیت کرده است. مدل پرچمدار آن‌ها، Mistral 7B، به همراه انتشارات بعدی مانند Mistral 8x7B، نشان داده‌اند که مدل‌های با عملکرد بالا، کارآمد و کاملاً با وزن‌های باز می‌توانند با غول‌های مالکیت خصوصی رقابت کنند و گاهی اوقات از آن‌ها پیشی بگیرند.

برای توسعه‌دهندگان، این یک تغییر پارادایم است. دیگر نیازی نیست که برای ساخت برنامه‌های هوش مصنوعی پیشرفته، صرفاً به فراخوانی‌های API گران‌قیمت از سیستم‌های بسته متکی باشند. این پست به بررسی ظرافت‌های فنی مدل‌های Mistral، نحوه استقرار آن‌ها به صورت محلی و نحوه یکپارچه‌سازی آن‌ها در خط تولید شما می‌پردازد.

چرا Mistral برجسته است: معماری و کارایی

انتشار اولیه Mistral 7B برای جامعه فنی یک غافلگیری بود. با وجود داشتن تعداد پارامترهای مشابه با مدل اصلی LLaMA 2 7B، Mistral 7B عملکرد به طور قابل توجهی بهتری را در بنچمارک‌هایی مانند MMLU، HumanEval و GSM8K ارائه داد. آن‌ها چگونه به این دستاورد رسیدند؟

توجه با پنجره لغزان (Sliding Window Attention): یکی از تمایزهای کلیدی فنی، استفاده از توجه با پنجره لغزان است. این مکانیزم به مدل امکان می‌دهد تا ورودی‌های با زمینه طولانی (تا 32k توکن) را به طور کارآمدتری نسبت به مکانیزم‌های توجه کامل استاندارد مدیریت کند و مصرف حافظه را در حین استنتاج کاهش دهد.
توکنایزر بهینه‌شده: Mistral از توکنایزری متفاوت از LLaMA استفاده می‌کند که به طور کلی منجر به فشرده‌سازی بهتر متن می‌شود و استفاده مؤثرتری از پنجره زمینه را ممکن می‌سازد.
وزن‌های باز: اگرچه از نظر تعریف سخت‌گیرانه GNU «متن‌باز» نیست (کد تحت مجوز Apache 2.0 است، اما وزن‌ها تحت یک مجوز خاص Mistral هستند)، وزن‌ها برای استفاده تجاری به صورت رایگان در دسترس هستند که یک مزیت بزرگ برای توسعه‌دهندگان سازمانی است.

شروع کار: استقرار Mistral با Hugging Face

ساده‌ترین راه برای آزمایش مدل‌های Mistral از طریق کتابخانه Hugging Face Transformers است. در اینجا یک مثال عملی از بارگذاری و اجرای یک مدل Mistral 7B به صورت محلی با استفاده از Python آورده شده است.

اول، مطمئن شوید که کتابخانه‌های مورد نیاز را نصب کرده‌اید:


pip install torch transformers accelerate

سپس، می‌توانید مدل را بارگذاری کرده و متن تولید کنید. توجه داشته باشید که مدل‌های Mistral اغلب برای عملکرد بهتر روی سخت‌افزار مصرفی کمّی‌سازی (Quantized) می‌شوند (مثلاً فرمت‌های GGUF از طریق llama.cpp یا کمّی‌سازی 4 بیتی از طریق bitsandbytes).


import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# Load the tokenizer and model
model_name = "mistralai/Mistral-7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

# Prepare the prompt
prompt = "Explain the concept of quantum entanglement in simple terms:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# Generate the response
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        do_sample=True,
        temperature=0.7,
        top_p=0.9
    )

# Decode and print the result
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

Mistral 8x7B: انقلاب ترکیب متخصصان (Mixture-of-Experts)

اگرچه Mistral 7B یک مدل متراکم (Dense) است، Mistral 8x7B معماری ترکیب متخصصان (MoE) را به فضای متن‌باز معرفی کرد. مدل‌های MoE دارای چندین شبکه پیش‌رو «متخصص» هستند، اما فقط یک زیرمجموعه برای هر توکن فعال می‌شود. این امر به مدل امکان می‌دهد تا تعداد کل پارامترهای بالایی (بیش از 56 میلیارد) داشته باشد، در حالی که محاسبات فعال را پایین نگه می‌دارد، که منجر به استنتاج سریع‌تر و نیاز به حافظه کمتر نسبت به مدل‌های متراکم با اندازه مشابه می‌شود.

برای توسعه‌دهندگان، این به این معنی است که می‌توانید عملکرد نزدیک به یک مدل متراکم 13B را با کارایی یک مدل 7B به دست آورید، که آن را ایده‌آل برای برنامه‌های بلادرنگ یا دستگاه‌های لبه (Edge) با RAM کافی می‌کند.

بهترین روش‌های یکپارچه‌سازی

هنگام یکپارچه‌سازی Mistral در یک سیستم تولیدی، موارد زیر را در نظر بگیرید:

کمّی‌سازی (Quantization): اگر در حال استقرار روی GPUهای مصرفی (مانند NVIDIA RTX 3090/4090) هستید، از کمّی‌سازی 4 بیتی یا 8 بیتی استفاده کنید. کتابخانه bitsandbytes این کار را به طور بی‌دردی با Hugging Face پشتیبانی می‌کند.
مدیریت زمینه (Context): اگرچه Mistral زمینه 32k را پشتیبانی می‌کند، اما به پیچیدگی درجه دوم توجه (Attention) توجه داشته باشید. برای اسناد طولانی، در نظر گرفتن استراتژی‌های تکه‌تکه کردن (Chunking) یا استفاده از تولید تقویت‌شده با بازیابی (RAG) به جای پر کردن کل سند در پرامپت توصیه می‌شود.
تنظیم دما (Temperature): مدل‌های Mistral تمایل به خلاقیت دارند اما گاهی اوقات ممکن است «هالوسینه» (توهم) کنند. برای چت عمومی با دمای 0.7 شروع کنید و برای پرسش‌های واقعیت‌محور یا تولید کد آن را به 0.2-0.5 کاهش دهید.

نتیجه‌گیری

Mistral AI با موفقیت با این مفهوم چالش کرده است که بهترین مدل‌ها باید بسته و مالکیت خصوصی باشند. با مدل‌هایی مانند Mistral 7B و 8x7B، توسعه‌دهندگان اکنون ابزارهای قدرتمند، کارآمد و قابل استفاده تجاری را در اختیار دارند. چه در حال ساخت یک چت‌بات، دستیار کد یا یک خط لوله RAG پیچیده باشید، Mistral یک پایه محکم ارائه می‌دهد.

با ادامه بلوغ اکوسیستم LLMهای متن‌باز، می‌توان انتظار داشت که حتی نوآوری‌های بیشتری از Mistral و جامعه فنی شاهد باشیم. برای توسعه‌دهندگان متوسط تا پیشرفته، اکنون زمان مناسبی است تا عمیق‌تر شوید، تنظیم دقیق (Fine-tune) انجام دهید و با این وزن‌های باز بسازید. آستانه ورود برای هوش مصنوعی با کیفیت بالا هرگز اینقدر پایین نبوده است.

کدنویسی شاد، و به یاد داشته باشید که همیشه از مصرف حافظه GPU خود مراقبت کنید!