Technical Tutorials

در چشم‌انداز به‌سرعت در حال تحول مدل‌های زبانی بزرگ (LLMs)، شکاف بین غول‌های اختصاصی و جایگزین‌های متن‌باز به‌طور قابل‌توجهی کاهش یافته است. Starling-7B، مدلی با ۷ میلیارد پارامتر که توسط LMSYS Org (سازمان سیستم‌های مدل بزرگ) توسعه یافته، وارد میدان می‌شود. برخلاف مدل‌های سنتی که تنها بر اساس تنظیم دقیق نظارتی (SFT) آموزش دیده‌اند، Starling-7B نشان‌دهنده یک تغییر بنیادین در نحوه رویکرد ما به هم‌راستاسازی مدل است: استفاده از یادگیری تقویتی از بازخورد انسانی (RLHF) که از مقایسات متخصصان به دست آمده است.

برای توسعه‌دهندگان متوسط تا پیشرفته، درک معماری و ظرافت‌های استقرار Starling-7B حیاتی است. این مقاله وبلاگ پایه‌های فنی، معیارهای عملکرد در برابر استانداردهای صنعتی و استراتژی‌های پیاده‌سازی عملی با استفاده از اکوسیستم Hugging Face را بررسی می‌کند.

چرا Starling-7B؟ قدرت بازخورد متخصصان

بیشتر مدل‌های زبانی بزرگ متن‌باز بر پایه معماری‌هایی مانند Llama 2 یا Mistral هستند که بر روی مجموعه‌داده‌های دستوری تنظیم دقیق شده‌اند. با این حال، پیروی از دستورات تنها نیمی از نبرد است؛ ایمنی، سودمندی و راستی‌آزمایی نیز به همان اندازه حیاتی هستند. Starling-7B منحصر به فرد است زیرا نه تنها بر روی متن، بلکه بر روی قضاوت‌های مقایسه‌ای تنظیم دقیق شده است.

فرآیند آموزش شامل تولید پاسخ‌ها از چندین مدل و سپس رتبه‌بندی آن‌ها توسط متخصصان انسانی بود. این ترجیحات متخصصان سپس برای آموزش یک مدل پاداش استفاده شد که در نهایت بهینه‌سازی RLHF مدل Starling-7B را هدایت کرد. این روش‌شناسی به Starling-7B اجازه می‌دهد تا در ارزیابی‌های انسانی ذهنی، به ویژه در مکالمات چندمرحله‌ای و وظایف استدلال پیچیده، از بسیاری از مدل‌های بزرگ‌تر پیشی بگیرد.

مشخصات فنی و معماری

Starling-7B بر پایه معماری Llama 2 ساخته شده است، اما بهبودهای قابل‌توجهی در توکن‌بندی و داده‌های آموزش دارد. این مدل از پنجره زمینه‌ای (context window) شامل ۴۰۹۶ توکن استفاده می‌کند که برای بیشتر کاربردهای استاندارد ربات‌های چت و وظایف تولید کد کافی است.

ویژگی‌های فنی کلیدی عبارتند از:

معماری پایه: مبتنی بر Llama 2 با مکانیسم‌های توجه بهینه‌شده.
داده‌های آموزش: یک مجموعه‌داده گزینش‌شده شامل بیش از ۱.۷ میلیون قضاوت مقایسه‌ای از داوران متخصص.
هم‌راستاسازی: به‌طور خاص برای RLHF بهینه‌سازی شده است که توهمات (hallucinations) را کاهش داده و پایبندی به دستورالعمل‌های ایمنی را بهبود می‌بخشد.

پیاده‌سازی عملی با پایتون

استقرار Starling-7B به لطف پشتیبانی گسترده از Hugging Face Transformers و Accelerate ساده است. در زیر یک مثال عملی از نحوه بارگذاری مدل و انجام استنتاج با استفاده از یک تنظیمات CPU یا GPU تکی آورده شده است.

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

# شناسه مدل را تعریف کنید
model_name = "lmsys/starling-7b-alpha"

# توکن‌ساز و مدل را بارگذاری کنید
# توجه: مطمئن شوید حافظه کافی (VRAM GPU یا RAM CPU) دارید
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

# یک خط لوله تولید متن ایجاد کنید
generator = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.9
)

# نمونه دستور (Prompt)
prompt = "مفهوم یادگیری تقویتی از بازخورد انسانی را طوری توضیح دهید که گویی من یک مهندس نرم‌افزار ارشد هستم."

# تولید پاسخ
results = generator(prompt)
print(results[0]['generated_text'])

معیارهای عملکرد و موارد استفاده

هنگام مقایسه با پیش‌نویس خود، Llama-2-7b-chat، Starling-7B بهبود چشمگیری در معیارهای هم‌راستاسازی چت نشان می‌دهد. در جدول رتبه‌بندی چتبات LMSYS، Starling به طور مداوم در رتبه‌های بالاتری نسبت به بسیاری از مدل‌های ۱۳ میلیاردی و حتی برخی از مدل‌های ۳۳ میلیاردی پارامتری در رتبه‌بندی‌های مستقیم Elo قرار می‌گیرد.

موارد استفاده پیشنهادی برای Starling-7B شامل موارد زیر است:

ربات‌های پشتیبانی مشتری: به دلیل توانایی مکالمه برتر و هم‌راستاسازی ایمنی.
دستیاران کدنویسی: این مدل وظایف تولید کد و اشکال‌زدایی را با دقت بالا انجام می‌دهد.
بازیابی دانش داخلی: هنگام ادغام با RAG (تولید تقویت‌شده با بازیابی)، خلاصه‌های واضح و مختصری از مستندات داخلی ارائه می‌دهد.

نتیجه‌گیری

Starling-7B تنها یک مدل متن‌باز دیگر نیست؛ بلکه گواهی بر قدرت داده‌های آموزش با کیفیت بالا و مبتنی بر متخصصان است. برای توسعه‌دهندگانی که به دنبال یک LLM قوی، از نظر اخلاقی هم‌راستا و با عملکرد بالا هستند که نیاز به سربار محاسباتی مدل‌های عظیم ۷۰ میلیاردی+ ندارد، Starling-7B انتخابی استثنایی است. همان‌طور که جامعه هوش مصنوعی متن‌باز به نوآوری خود ادامه می‌دهد، مدل‌هایی مانند Starling شکاف را پر کرده و هوش مصنوعی در سطح سازمانی را برای همه در دسترس می‌سازند.