منظره مدل‌های زبانی بزرگ (LLMs) با ظهور مدل‌های وزن‌باز به شدت تغییر کرده است. از میان جدیدترین و مهم‌ترین ورودی‌ها، می‌توان به مدل‌های Gemma اشاره کرد؛ خانواده‌ای از مدل‌های سبک و پیشرفته متن‌باز که توسط Google DeepMind توسعه یافته‌اند. این مدل‌ها که بر پایه همان فناوری مدل‌های Gemini ساخته شده‌اند، به توسعه‌دهندگان یک جایگزین قدرتمند و در دسترس برای ساخت برنامه‌های هوش مصنوعی سفارشی بدون هزینه‌های اضافی APIهای منبع‌بسته ارائه می‌دهند.
Gemma چیست؟
Gemma تنها یک LLM دیگر نیست؛ بلکه خانواده‌ای از مدل‌ها است که با دقت برای کارایی و انعطاف‌پذیری طراحی شده‌اند. این خانواده در حال حاضر شامل مدل‌های پایه و نسخه‌های آموزش‌دیده با دستورالعمل (instruction-tuned) در دو اندازه اصلی است: 2 میلیارد پارامتر (2B) و 7 میلیارد پارامتر (7B)، و مدل‌های بزرگ‌تر 27B نیز برای وظایف استدلالی پیچیده‌تر در دسترس هستند. این مدل‌ها از معماری Transformer متراکم استفاده می‌کنند که برای هر دو مورد استفاده مکالمه تک‌مرحله‌ای و چندمرحله‌ای بهینه‌سازی شده است.
مزیت اصلی Gemma در تعادل آن نهفته است. این مدل‌ها به اندازه کافی کوچک هستند تا با بهینه‌سازی‌های مناسب روی سخت‌افزارهای مصرفی محلی اجرا شوند، اما به اندازه کافی قدرتمندند تا وظایف ظریفی مانند تولید کد، استدلال ریاضی و درک زبان طبیعی را انجام دهند. این ویژگی آن‌ها را به گزینه‌ای ایده‌آل برای استقرار در لبه (edge deployment)، محیط‌های حساس به حریم خصوصی و مقیاس‌بندی مقرون‌به‌صرفه تبدیل می‌کند.
چرا Gemma را برای استک خود انتخاب کنیم؟
برای توسعه‌دهندگان متوسط تا پیشرفته، انتخاب مدل مناسب شامل مبادله بین تأخیر، هزینه و قابلیت‌ها است. Gemma در چندین حوزه کلیدی برجسته است:
- کارایی: تعداد پارامترهای کمتر به زمان استنتاج سریع‌تر و ردپای حافظه کمتر منجر می‌شود.
- وزن‌های باز: برخلاف بسیاری از مدل‌های اختصاصی، وزن‌های Gemma به صورت عمومی در دسترس هستند که امکان تنظیم دقیق و تغییر را فراهم می‌کند.
- داده با کیفیت بالا: Gemma بر روی یک مجموعه داده گزینش‌شده آموزش دیده است و عملکرد قوی در معیارهای ارزیابی نسبت به اندازه خود نشان می‌دهد.
- پشتیبانی اکوسیستم: پشتیبانی بومی در Hugging Face Transformers و JAX، که سازگاری گسترده را تضمین می‌کند.
مثال پیاده‌سازی: بارگذاری و اجرای Gemma
شروع کار با Gemma به لطف کتابخانه `transformers` هگینگ‌فیس (Hugging Face) ساده است. در زیر یک مثال عملی از نحوه بارگذاری یک مدل 7B آموزش‌دیده با دستورالعمل و تولید پاسخ آورده شده است. توجه داشته باشید که برای استنتاج محلی، ممکن است نیاز به استفاده از کوانتیزه‌سازی 4 بیتی یا 8 بیتی داشته باشید تا مدل در RAM جا شود.
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
# تعریف شناسه مدل برای نسخه آموزش‌دیده با دستورالعمل 7B
model_id = "google/gemma-7b-it"
# بارگذاری توکنایزر و مدل
# استفاده از torch.bfloat16 برای کارایی بیشتر در GPUهای مدرن
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
# آماده‌سازی پرامپت
prompt = "مفهوم درهم‌تنیدگی کوانتومی را به زبان ساده توضیح دهید."
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
# تولید خروجی
outputs = model.generate(**inputs, max_new_tokens=100)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)این قطعه کد حداقل کد مورد نیاز برای تعامل با مدل را نشان می‌دهد. برای محیط‌های تولید، در نظر بگیرید که از موتورهای استنتاج بهینه‌شده مانند vLLM یا TensorRT-LLM برای حداکثر کردن نرخ عبور (throughput) و کاهش بیشتر تأخیر استفاده کنید.
کوانتیزه‌سازی و بهینه‌سازی
یکی از مهم‌ترین جنبه‌های استقرار محلی Gemma، مدیریت مصرف حافظه است. مدل 7B اگرچه قابل مدیریت است، اما در دقت FP16 به حدود 14 گیگابایت VRAM نیاز دارد. با به کارگیری تکنیک‌های کوانتیزه‌سازی، مانند NormalFloat 4 بیتی (NF4) از طریق کتابخانه BitsAndBytes، می‌توان این نیاز را به حدود 5 تا 6 گیگابایت کاهش داد که اجرای آن را روی لپ‌تاپ‌ها یا نمونه‌های ابری کوچک‌تر امکان‌پذیر می‌سازد.
from transformers import BitsAndBytesConfig
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.float16
)
model = AutoModelForCausalLM.from_pretrained(
model_id,
quantization_config=quantization_config,
device_map="auto"
)نتیجه‌گیری
مدل‌های Gemma گوگل گامی مهم به سوی دموکراتیزه کردن دسترسی به فناوری هوش مصنوعی با کیفیت بالا محسوب می‌شوند. چه در حال ساخت یک چت‌بات، چه یک دستیار کدنویسی و چه یک ابزار تحلیل داده هستید، Gemma یک پایه قدرتمند و متن‌باز ارائه می‌دهد. سازگاری آن با اکوسیستم‌های موجود و پتانسیل استقرار محلی، آن را به انتخابی جذاب برای توسعه‌دهندگانی تبدیل می‌کند که می‌خواهند کنترل بر زیرساخت هوش مصنوعی خود را حفظ کنند و همزمان از عملکرد پیشرفته بهره ببرند.
با بالغ‌تر شدن اکوسیستم، می‌توان انتظار داشت که نسخه‌های تنظیم‌شده دقیق‌تر و ابزارهای تخصصی بیشتری برای Gemma ارائه شود که جایگاه آن را در منظر هوش مصنوعی متن‌باز بیشتر تثبیت می‌کند. برای توسعه‌دهندگانی که آماده آزمایش هستند، سد ورود به این حوزه هرگز به این سادگی نبوده است.