Technical Tutorials

Yapay zeka modelleri karmaşıklaştıkça, eğitim güç merkezleri ile kaynak kısıtlamalı kenar cihazları arasındaki uçurum büyüyor. Büyük dil modellerini (LLM'ler) veya görme transformer'larını doğrudan Raspberry Pi'ler, mobil GPU'lar veya gömülü IoT cihazları gibi kenar donanımlarına dağıtmak önemli bir mühendislik zorluğu sunar. Temel darboğazlar bellek ayak izi ve çıkarım gecikmesidir. İşte Parametre-Effektif İnce Ayar (PEFT). Bu teknik, geliştiricilerin devasa modelleri tam ince ayarın göze alınmaz maliyeti olmadan belirli görevlere uyarlamasını sağlar ve verimli kenar AI'sının temel taşı haline gelir.

Kenar AI'sında Bellek ve Gecikme Darboğazı

Geleneksel ince ayar, önceden eğitilmiş bir modeldeki tüm ağırlıkları güncellemeyi içerir. Milyarlarca parametreye sahip bir model için bu, modelin tamamının belleğe yüklenmesini ve tam gradyan kontrol noktalarının saklanmasını gerektirir. Sınırlı RAM'e (örneğin 4GB veya 8GB) sahip bir kenar cihazında bu genellikle imkansızdır. Ayrıca, milyarlarca parametre için gradyanların hesaplanmasının getirdiği hesaplama yükü, pil ile çalışan cihazlar için kabul edilemez olan yüksek güç tüketimine ve ısı üretimine yol açar.

PEFT, önceden eğitilmiş model ağırlıklarını dondurarak ve küçük sayıda eğitilebilir parametre enjekte ederek bu sorunu çözer. Toplam parametrelerin yalnızca bir kısmını güncelleyerek bellek kullanımını ve eğitim süresini önemli ölçüde azaltır. Dağıtım sırasında, dondurulmuş temel modelin yanı sıra yalnızca küçük adaptör ağırlıklarının yüklenmesi gerekir; bu da çıkarım başlatma gecikmesini önemli ölçüde düşürür ve diskteki toplam model boyutunu azaltır.

Doğru PEFT Stratejisini Seçme: LoRA ve QLoRA

Birkaç PEFT yöntemi mevcut olsa da, Düşük Sıralı Uyarlam (LoRA) ve Nicemlenmiş Düşük Sıralı Uyarlam (QLoRA), verimlilikleri ve uygulama kolaylıkları nedeniyle kenar dağıtımı için en uygun olanlardır.

LoRA, ağırlık güncellemelerini düşük sıralı ayrıştırma kullanarak yaklaştırır. (d, k) boyutundaki W matrisini güncellemek yerine, LoRA r sıralı iki daha küçük A ve B matrisi tanıtır; burada r << min(d, k) olur. Güncelleme ΔW = BA olarak hesaplanır.

QLoRA, temel modeli 4-bit hassasiyete nicemleyerek bu süreci ileriye taşır. Bu, dondurulmuş modelin bellek ayak izini 16-bit hassasiyete kıyasla %75'e kadar azaltır ve daha büyük modellerin daha küçük kenar cihazlarına sığmasını sağlar. Adaptör ağırlıkları öğrenme kapasitesini korumak için daha yüksek hassasiyette kalır.

Hugging Face PEFT ile Pratik Uygulama

Hugging Face peft kütüphanesi, LoRA uygulaması için basit bir arayüz sağlar. Aşağıda, bir transformer modeli için bir LoRA adaptörü yapılandırmanın pratik bir örneği yer almaktadır.

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM

# Temel modelinizi yükleyin
base_model_id = "mistralai/Mistral-7B-v0.1"
model = AutoModelForCausalLM.from_pretrained(base_model_id)

# LoRA parametrelerini yapılandırın
lora_config = LoraConfig(
    r=8,                  # Güncelleme matrisinin sırası
    lora_alpha=32,        # Ölçeklendirme faktörü
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

# Modeli PEFT ile sarın
model = get_peft_model(model, lora_config)

# Verimliliği doğrulamak için eğitilebilir parametreleri kontrol edin
model.print_trainable_parameters()

Bu yapılandırmada, yalnızca dikkat (attention) projeksiyon katmanları uyarlanır. Kenar dağıtımı için genellikle model.save_pretrained("adapter_weights") kullanarak yalnızca adaptör ağırlıklarını kaydedersiniz. Çıkarım sırasında, temel modeli yükler ve adaptör ağırlıklarını temel modele geri birleştirir veya çalışma zamanı motorunuzun yeteneklerine bağlı olarak (örneğin ONNX Runtime veya TensorRT) ayrı tutarsınız.

Çıkarım Gecikmesi İçin Optimizasyon

Eğitim savaşın yalnızca yarısıdır; çıkarım optimizasyonu kenar performansı için kritiktir. İnce ayardan sonra aşağıdaki adımları göz önünde bulundurun:

Model Birleştirme: LoRA ağırlıklarını temel model ağırlıklarına birleştirin. Bu, çıkarım sırasında dinamik ekleme ihtiyacını ortadan kaldırır; bu da ek yük ekleyebilir.
Nicemleme: Birleştirilmiş modeli 8-bit veya 4-bit tamsayı formatlarına dışa aktarın. Çoğu kenar hızlandırıcı (NPU'lar, GPU'lar) INT8 çıkarımını yerel olarak destekler ve önemli hızlanmalar sağlar.
Çizge Optimizasyonu: Modeli ONNX formatına dönüştürün ve çekirdek başlatma yükünü azaltmak için MatMul ve LayerNormalization gibi operatör optimizasyonlarını kullanın.

Sonuç

PEFT uygulamak artık yalnızca bir eğitim optimizasyonu değil; kenar için bir dağıtım zorunluluğudur. LoRA ve QLoRA gibi tekniklerden yararlanarak geliştiriciler, güçlü temel modelleri özel görevlere uyarlayabilirken gerçek dünya kenar uygulamaları için gerekli olan düşük gecikmeyi ve küçük ayak izini koruyabilirler. Kenar donanımı gelişmeye devam ettikçe, bu verimli ince ayar stratejilerini ustalaşmak, ölçeklenebilir ve duyarlı AI çözümleri sunmak için hayati önem taşıyacaktır.