Technical Tutorials

دموکراتیزه شدن مدل‌های زبانی بزرگ (LLMs) به سرعت از APIهای وابسته به ابر به استنتاج محلی و درون‌دستگاهی تغییر جهت داده است. در خط مقدم این حرکت، llama.cpp قرار دارد که یک پیاده‌سازی C/C++ است که در ابتدا برای اجرای مدل‌های LLaMA متا بر سیلیکون اپل طراحی شده بود. امروزه، این ابزار به عنوان استاندارد غیررسمی برای اجرای کارآمد و چندسکویی LLMها شناخته می‌شود. این پست به بررسی معماری، استراتژی‌های کوانتیزه‌سازی و پیاده‌سازی عملی llama.cpp برای توسعه‌دهندگانی می‌پردازد که قصد دارند هوش مصنوعی را به صورت محلی مستقر کنند.

معماری هسته و فرمت GGUF

برخلاف فریم‌ورک‌های مبتنی بر پایتون مانند Hugging Face Transformers که به گراف پویای PyTorch و سربار حافظه GPU تکیه دارند، llama.cpp بر پایه کامپایل استاتیک ساخته شده است. این موضوع منجر به ردپای باینری بسیار کوچک و تأخیر بسیار پایین می‌شود. این موتور از طیف وسیعی از شتاب‌دهنده‌های بک‌اند پشتیبانی می‌کند، از جمله CUDA برای GPUهای NVIDIA، Metal برای سیلیکون اپل و Vulkan برای کارت‌های گرافیک چندسکویی.

از نظر حیاتی، llama.cpp فرمت GGUF (فرمت جهانی GGML) را محبوب کرد. این فرمت باینری امکان ذخیره‌سازی و بارگذاری کارآمد وزن‌های مدل را فراهم می‌کند. فایل‌های GGUF به گونه‌ای طراحی شده‌اند که با حداقل تکه‌تکه شدن حافظه بارگذاری شوند، که به مدل‌ها اجازه می‌دهد بر روی سخت‌افزارهای سطح مصرف‌کننده‌ای اجرا شوند که در غیر این صورت با مدل‌های استاندارد FP16/FP32 مشکل خواهند داشت.

کوانتیزه‌سازی: کلید دسترسی‌پذیری

قدرت واقعی llama.cpp در قابلیت‌های کوانتیزه‌سازی تهاجمی آن نهفته است. کوانتیزه‌سازی دقت وزن‌های مدل را کاهش می‌دهد (برای مثال، از ممیز شناور ۱۶ بیتی به عدد صحیح ۴ بیتی)، که به طور قابل توجهی استفاده از حافظه و نیازهای محاسباتی را با حداقل افت کیفیت کاهش می‌دهد. llama.cpp از انواع متعددی از کوانتیزه‌سازی پشتیبانی می‌کند که معمولاً با پسوند‌هایی در نام فایل‌ها مشخص می‌شوند:

Q4_0: کوانتیزه‌سازی ۴ بیتی، رایج‌ترین تعادل بین سرعت و کیفیت.
Q5_K_M: دقت مختلط ۵ بیتی، که اغلب به عنوان «نقطه شیرین» برای مدل‌های ۷B-13B در نظر گرفته می‌شود.
Q8_0: فشرده‌سازی نزدیک به بدون افت، ایده‌آل زمانی که VRAM اجازه دقت بالاتر را می‌دهد.

با تبدیل یک مدل ۷ میلیارد پارامتری از FP16 (۱۴ گیگابایت VRAM) به Q4_K_M (حدود ۴ گیگابایت VRAM)، توسعه‌دهندگان می‌توانند دستیاران قدرتمند را بر روی لپ‌تاپ‌هایی با گرافیک یکپارچه یا سیستم‌های بازی قدیمی‌تر اجرا کنند.

پیاده‌سازی عملی: اجرای اولین مدل شما

برای شروع، به مخزن llama.cpp و یک فایل مدل GGUF نیاز دارید. شما می‌توانید مدل‌ها را از Hugging Face دانلود کنید یا مدل‌های خود را با استفاده از اسکریپت convert_hf_to_gguf.py تبدیل کنید.

پس از داشتن باینری و مدل، رابط خط فرمان ساده است. در اینجا مثالی از اجرای یک مدل ۷B با پنجره زمینه ۴۰۹۶ توکن آورده شده است:

./main -m models/llama-2-7b-chat.Q4_K_M.gguf \
        -p "Explain quantum computing in simple terms:" \
        -n 256 \
        --temp 0.7 \
        -c 4096

در این دستور:

-m مسیر فایل مدل را مشخص می‌کند.
-p تزریق پرامپت است.
-n تعداد توکن‌های جدید برای تولید را تنظیم می‌کند (۲۵۶).
--temp تصادفی‌سازی (دما) را کنترل می‌کند.
-c اندازه پنجره زمینه را تعریف می‌کند.

کاربرد پیشرفته: جاسازی‌ها و یکپارچه‌سازی پایتون

llama.cpp فقط برای چت نیست. این ابزار از تولید جاسازی‌ها (Embeddings) از طریق پرچم -embd پشتیبانی می‌کند که آن را برای پایپ‌لاین‌های جستجوی معنایی و RAG (تولید تقویت‌شده با بازیابی) مناسب می‌سازد. علاوه بر این، این کتابخانه یک اتصال (Binding) پایتون ارائه می‌دهد. این امر به توسعه‌دهندگان اجازه می‌دهد llama.cpp را مستقیماً در برنامه‌های پایتون با استفاده از ماژول subprocess یا بسته رسمی llama-cpp-python یکپارچه کنند، که شکاف بین عملکرد C++ و راحتی اکوسیستم پایتون را پر می‌کند.

# Example using llama-cpp-python
from llama_cpp import Llama

llm = Llama(
    model_path="./models/llama-2-7b-chat.Q4_K_M.gguf",
    n_ctx=4096,
    n_gpu_layers=35
)

output = llm("Q: What is AI? A:", max_tokens=300, stop=["Q:"], echo=False)
print(output)

نتیجه‌گیری

llama.cpp به طور بنیادین منظر هوش مصنوعی محلی را تغییر داده است. با اولویت دادن به عملکرد، کارایی حافظه و استانداردسازی فرمت از طریق GGUF، این ابزار مدل‌های LLM قدرتمند را برای میلیون‌ها توسعه‌دهنده خارج از قلمرو زیرساخت‌های ابری در دسترس قرار داده است. چه در حال ساخت یک چت‌بات متمرکز بر حریم خصوصی باشید، چه یک سیستم RAG محلی، یا صرفاً در حال آزمایش وزن‌های باز، llama.cpp پایه‌ای قوی و با عملکرد بالا را برای توسعه هوش مصنوعی محلی مدرن فراهم می‌کند. با تکامل اکوسیستم، هماهنگی با به‌روزرسانی‌های GGUF و تکنیک‌های کوانتیزه‌سازی برای به حداکثر رساندن پتانسیل سخت‌افزار شما کلیدی خواهد بود.