Technical Tutorials

Büyük Dil Modelleri (LLM'lerin) dağıtımı artık sadece bir yazılım mühendisliği sorunu değil; temelde bir altyapı sorunudur. Model boyutları milyarlarca parametreden yüzlerce milyar parametreye doğru büyüdükçe, darboğaz hesaplama gücünden bellek kısıtlamalarına kaymıştır. Orta düzeyden ileri düzey geliştiriciler için hangi GPU sunucu mimarisini satın alacakları veya kiralayacakları konusunda karar vermek hayati önem taşır. VRAM kapasitesi veya bellek bant genişliğindeki bir uyumsuzluk, başarısız dağıtımlara, aşırı gecikmelere veya kontrolsüz yükselen bulut maliyetlerine yol açabilir.

VRAM Kısıtı: Hızdan Daha Önemli Olan Uyumluluk

LLM çıkarımındaki en acil engel, model ağırlıklarının GPU belleğine sığdırılmasıdır. Batch boyutlarının sığması için optimize edilebildiği eğitimin aksine, çıkarım sırasında token üretimi için tüm modelin VRAM içinde yerleşik olması gerekir. Formül nispeten basittir: 16-bit quantize edilmiş bir model, parametre başına yaklaşık 2 bayt gerektirir. Bu nedenle, 70 milyar parametreli bir model için bağlam penceresi arabellekleri ve KV önbelleği hariç tutulduğunda, ağırlıklar için yalnızca yaklaşık 140 GB VRAM gerekir.

Bu nedenle, 24 GB veya 48 GB VRAM'e sahip tek GPU'lu sunucular, modern en son teknoloji modeller için genellikle yetersiz kalır. Mimarlar çok GPU'lu yapılandırmalara yönelmelidir. Ancak, ara bağlantı bant genişliği düşükse, GPU'ları basitçe üst üste koymak sorunu çözmez. Model paralelliği için birden fazla GPU'nun bellek alanını paylaşması gerektiğinde, PCIe Gen4 veya Gen5 bağlantıları bir darboğaz oluşturur.

Bant Genişliği: Gecikmenin Gözden Düşen Kahramanı

VRAM modelin çalışıp çalışmayacağını belirlerken, bellek bant genişliği modelin ne kadar hızlı çalışacağını belirler. LLM çıkarımı yoğun olarak bellek tarafından sınırlıdır. İlk Token'a Zaman (TTFT) ve sonraki token verimliliği, verinin VRAM'ten akış çoklu işlemcilerine ne kadar hızlı taşınabildiğiyle doğru orantılıdır.

Bir NVIDIA A100 (HBM2e) ile A6000'i karşılaştırın. A6000'in A100'den daha fazla VRAM'i vardır, ancak bellek bant genişliği önemli ölçüde daha düşüktür. LLM'ler için A100, ağır ağırlık matrislerini daha hızlı taşıyabildiği için verimlilikte A6000'i genellikle geride bırakır. Donanım seçerken, yalnızca toplam kapasiteye değil, GB/s verimliliğine dikkat edin. Kurumsal dağıtımlar için NVIDIA'nın NVLink teknolojisi, GPU'lar arasında yüzlerce GB/s bant genişliği sağlayarak PCIe'den kat kat daha hızlıdır ve hayati önem taşır.

Maliyet Optimizasyon Stratejileri

Maliyet dengesi, Toplam Sahiplik Maliyetini (TCO) anlamayı gerektirir. Bulut örnekleri esneklik sunar ancak bu esneklik yüksek bir primle karşılık görür. Yüksek verimlilik gerektiren üretim ortamları için, tüketicilere yönelik veya veri merkezi seviyesinde GPU'lara sahip yerinde sunucular, bulut sağlayıcılarına kıyasla maliyetleri %70'e kadar azaltabilir.

Karma hassasiyetli bir yaklaşım düşünün. Modelin aktif katmanları için yüksek bant genişliğine sahip HBM2e/HBM3 bellek kullanabilir ve vLLM veya TensorRT-LLM gibi çerçeveler kullanarak daha kritik olmayan bileşenleri CPU RAM'ine veya daha düşük bant genişliğine sahip GPU belleğine taşıyabilirsiniz. Çok GPU'lu bir kurulum için bir başlatma betiğinde tensör paralelliğini belirtmenin pratik bir örneği şudur:

# vLLM kullanarak 70B parametreli bir modeli 8 GPU üzerinde başlatma
# Model paralelliğinin yüksek bant genişliğine sahip NVLink üzerinden dağıtılmasını sağlar

python -m vllm.entrypoints.api_server \
    --model meta-llama/Llama-2-70b-chat-hf \
    --tensor-parallel-size 8 \
    --gpu-memory-utilization 0.95 \
    --max-model-len 4096 \
    --dtype float16

Bu örnekte, --tensor-parallel-size 8 modelin sekiz GPU arasında bölünmesini sağlar. --gpu-memory-utilization 0.95 kullanımı, uzun bağlam pencerelerini verimli bir şekilde işlemek için KV önbelleği amacıyla mevcut VRAM'in kullanımını en üst düzeye çıkarır.

Sonuç

LLM çıkarımı için doğru GPU sunucu mimarisini seçmek; VRAM kapasitesi, bellek bant genişliği ve ara bağlantı hızının bütünsel bir görünümünü gerektirir. Verimlilik hızını felç edeceğinden, kapasite için bant genişliğinden ödün vermeyin. Benzer şekilde, ağ altyapınızın (NVLink, InfiniBand) hesaplama gücüyle eşleştiğinden emin olun. Bu faktörleri dikkatlice dengeleyerek geliştiriciler, modern büyük dil modellerinin taleplerini karşılayan, ölçeklenebilir, maliyet etkin ve yüksek performanslı AI altyapısı dağıtabilir.