Technical Tutorials

Mistral AI'nın açık ağırlıklı modellerinin, özellikle Mistral 7B ve güçlü Mixtral 8x7B'nin piyasaya sürülmesi, en son Büyük Dil Modellerine (LLM) erişimi demokratikleştirdi. Ancak genel amaçlı modeller, hassasiyetin ve alan-spesifik terminolojinin vazgeçilmez olduğu hukuk, tıp veya finans gibi uzmanlaşmış endüstrilere uygulandığında genellikle yetersiz kalır. Prompt mühendisliği temel bir modeli daha ileriye taşıyabilir, ancak gerçek esneklik ince ayar gerektirir. Bu rehber, Düşük Sıra Uyarlaması (LoRA) gibi verimli teknikler kullanarak Mistral modellerinin alan-spesifik görevler için nasıl etkili bir şekilde ince ayarlanacağını inceler.

Neden Mistral'ı İnce Ayarlamalıyız?

Temel modeller geniş, heterojen veri kümeleri üzerinde eğitilir. Özel iş mantığı veya belirli jargon için gerekli olan nüanslı anlayıştan yoksundurlar. İnce ayar, modelin ağırlıklarını belirli veri dağılımınıza uyarlayarak daha düşük halüsinasyon oranları ve daha yüksek talimat takip doğruluğu sağlar. Verimli uzun bağlam işleme için Kayan Pencere Dikkat mekanizmasını kullanan Mistral için ince ayar, alan uzmanlığını enjekte ederken sağlam akıl yürütme yeteneklerini korumanıza olanak tanır.

Ortamın Hazırlanması

Eğitime başlamadan önce gerekli kütüphanelerin yüklü olduğundan emin olun. transformers, peft (Parametre-Ekonomik İnce Ayarlama), datasets ve accelerate kütüphanelerini kullanacağız. Mistral'ın belirli tokenizasyon ve dikkat mekanizmalarını doğru şekilde işleyebilmesi için Transformers'un (v4.36+) güncel bir sürümüne ihtiyaç duyar.

pip install transformers peft datasets accelerate bitsandbytes

Adım 1: Veri Hazırlığı

İnce ayar verinizin kalitesi hayati önem taşır. Mistral modelleri genellikle talimat takip formatları kullanılarak ince ayarlanır. Eğitim verileri için yaygın bir format, her girişin bir instruction (talimat), input (isteğe bağlı bağlam) ve output (çıktı) içeren bir JSONL dosyasıdır. Örneğin, bir hukuk asistanı oluşturuyorsanız veriniz şu şekilde görünebilir:

[
  {
    "instruction": "Aşağıdaki hukuk maddesini özetleyin.",
    "input": "Satıcı, müvekkili tazmin edecek ve sorumlu tutulmamasını sağlayacak...",
    "output": "Satıcı, müvekkili sorumluluklardan korumayı kabul eder..."
  }
]

Bu veriyi verimli bir şekilde yüklemek ve tokenize etmek için datasets kütüphanesini kullanın.

Adım 2: LoRA Yapılandırması

Büyük modelleri sıfırdan ince ayarlamak hesaplaması pahalıdır. LoRA, önceden eğitilmiş model ağırlıklarını sabit tutar ve Transformer mimarisinin her katmanına eğitilebilir düşük sıra ayrışım matrisleri enjekte eder. Bu, eğitilebilir parametre sayısını büyük ölçüde azaltarak Mistral 7B'yi tek bir GPU üzerinde ince ayarlamanıza olanak tanır.

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

Adım 3: Modelin Eğitimi

Model yüklendi ve veri seti hazır olduğunda, Trainer API'sini kullanarak eğitim döngüsünü başlatabilirsiniz. Bellek kullanımını optimize etmek için per_device_train_batch_size ve gradient_accumulation_steps değerlerini ayarladığınızdan emin olun. Kaybınızın (loss) eğrisini yakından izleyin; alan-spesifik görevler için genellikle ilk birkaç epoch içinde kayıpta hızlı bir düşüş görürsünüz, model yeni bilgi dağılımına yakınsadıkça bu değer stabilize olur.

Sonuç

Mistral modellerini ince ayarlamak, performans ve maliyet arasında ikna edici bir denge sunar. LoRA'dan yararlanarak geliştiriciler, tam ince ayarın yüksek maliyetlerinden kaçınarak güçlü açık kaynak modelleri niş alanlara uyarlayabilir. LLM'lerin manzarası gelişmeye devam ettikçe, bu uyarlam tekniklerini ustalaşmak, sağlam ve endüstriye özgü AI uygulamaları oluşturmak için kritik bir beceri olmaya devam edecektir. Küçük başlayın, veri kalitenizi üzerinde iterasyon yapın ve modelinizin genel bir uzmandan alan uzmanına dönüşmesini izleyin.