Technical Tutorials

Mistral NeMo 12B, açık ağırlıklı LLM alanında güçlü bir seçenek olarak öne çıkıyor. 12 milyar parametresi ve yüksek bağlam penceresiyle, yerel geliştirme için performans ve kaynak verimliliği arasında etkileyici bir denge sunuyor. Bu rehber, modelin yerel donanımınızda ince ayarını ve dağıtımını adım adım anlatıyor; böylece kurulumunuzdan en iyi şekilde faydalanabilirsiniz.

Mimariyi Anlama

Mistral NeMo, büyük bağlam penceresini yönetmek için dikkat çukurları (attention sinks) ve kayan pencere dikkatini (sliding window attention) kullanan standart bir dönüştürücü (transformer) mimarisine sahiptir. Bu tasarım, kuantize edildiğinde tüketici sınıfı donanımlarda verimli çıkarım (inference) yapılmasına olanak tanır. Yerel geliştirme için genellikle bellek kullanımını yönetilebilir tutmak amacıyla 4-bit veya 8-bit kuantize sürümlerle çalışırsınız.

Ortamınızı Hazırlama

İnce ayara dalmadan önce Python ortamınızın doğru şekilde kurulduğundan emin olun. `transformers`, `peft` ve `accelerate` kütüphanelerine ihtiyacınız olacak. İşte temel bir kurulum betiği:


pip install torch transformers peft accelerate bitsandbytes

GPU'nuzun gerekli hesaplama yeteneğini (compute capability) desteklediğini doğrulamak kritik öneme sahiptir. Mistral NeMo, VRAM gereksinimlerini önemli ölçüde azaltan 4-bit kuantizasyon için BNB (Bits and Bytes) kütüphanesini kullanmaktan büyük ölçüde faydalanır.

LoRA ile Adım Adım İnce Ayar

12B parametreli bir modelin tam ince ayarı kaynak yoğun bir işlemdir. Bunun yerine, yalnızca küçük bir adaptör ağırlığı setini ince ayar yapan LoRA (Düşük Sıralı Uyarlanma / Low-Rank Adaptation) kullanmanızı öneririz. Bu yöntem daha hızlıdır ve çok daha az bellek gerektirir.

İşte modeli 4-bit kuantizasyonla yükleyip LoRA için hazırlayan bir Python kod parçası:


from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16
)

model = AutoModelForCausalLM.from_pretrained(
    "mistralai/Mistral-Nemo-12B-Base",
    quantization_config=bnb_config,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-Nemo-12B-Base")

model = prepare_model_for_kbit_training(model)
lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

model = get_peft_model(model, lora_config)

Yapılandırma tamamlandıktan sonra, Hugging Face Trainer API'sini kullanarak eğitim döngünüze devam edebilirsiniz. Veri setinizin, modelin beklenen giriş yapısına uygun doğru sohbet şablonlarıyla doğru biçimde formatlandığından emin olun.

vLLM ile Dağıtım

Modeli sunmak için `vLLM`, yüksek verimliliği (throughput) ve düşük gecikmesi sayesinde mükemmel bir seçimdir. Yerel bir geliştirme ortamında birden fazla eşzamanlı isteği işlemek için gerekli olan sürekli toplu işleme (continuous batching) özelliğini destekler.


from vllm import LLM, SamplingParams

# Modeli ve ince ayarladığınız LoRA ağırlıklarını yükleyin
llm = LLM(model="mistralai/Mistral-Nemo-12B-Base",
          lora_modules={"my_lora": "./path/to/lora_weights"},
          quantization="bitsandbytes")

sampling_params = SamplingParams(temperature=0.7, max_tokens=128)

prompts = ["Explain the capital of France in one sentence."]
outputs = llm.generate(prompts, sampling_params, lora_request="my_lora")
print(outputs[0].outputs[0].text)

Performans Optimizasyonu İpuçları

Toplu İş Boyutu (Batch Size): Bellek dışı hata (out-of-memory) almamak için ince ayar sırasında küçük bir toplu iş boyutuyla (1 veya 2) başlayın. VRAM'iniz izin veriyorsa kademeli olarak artırın.
Gradyan Kontrol Noktası (Gradient Checkpointing): Bellek tasarrufu için hesaplama süresinden ödün vererek gradyan kontrol noktasını etkinleştirin. Bu, 24GB VRAM'li GPU'larda 12B modeller için genellikle gereklidir.
Kuantizasyon Seçimi: 4-bit bellek için harika olsa da, 8-bit biraz daha iyi sadakat (fidelity) sunar. VRAM kısıtlamalarınıza ve kalite gereksinimlerinize göre seçim yapın.

Sonuç

Mistral NeMo 12B, yerel geliştirme iş akışlarına iyi uyan çok yönlü bir modeldir. Verimli ince ayar için LoRA'yı ve sağlam dağıtım için vLLM'i kullanarak, bulut hizmetlerine bağımlı kalmadan güçlü ve özelleştirilmiş yapay zeka uygulamaları geliştirebilirsiniz. Donanım yetenekleri büyümeye devam ettikçe, büyük açık ağırlıklı modelleri yerelde çalıştırma eşiği düşmeye devam ediyor ve bu tür araçlar her yerdeki geliştiriciler için giderek daha erişilebilir hale geliyor.