Technical Tutorials

Büyük Dil Modelleri (LLM) dünyası gelişirken, keskin araştırma modelleri ile üretim için hazır çıkarım arasındaki fark önemli ölçüde daraldı. Geliştiriciler ve veri bilimcileri için asıl meydan okuma artık modellere erişmek değil, onları verimli, güvenli ve ölçeklenebilir şekilde sunmaktır. İşte Metin Üretimi Çıktısı (TGI); Hugging Face tarafından geliştirilen açık kaynaklı, yüksek performanslı bir çıkarım motoru. Bu yazıda, TGI'nin yerel AI dağıtımını nasıl optimize ettiğini ve standart API sarmalayıcıları veya ham PyTorch uygulamalarına güçlü bir alternatif sunduğunu inceliyoruz.

Neden TGI Seçmelisiniz?

Standart model çalıştırıcıları, eşzamanlı istekleri işlerken gecikme süresi, veri akışı (throughput) ve bellek yönetimi konularında sık sık zorlanırlar. TGI, bu darboğazları gidermek üzere özel olarak tasarlanmıştır. Birkaç temel teknolojiden yararlanır:

Tensor Paralelizmi: TGI, modeli birden fazla GPU üzerinde dağıtarak tek bir GPU bellek limitini aşan devasa modellerin çıkarımını mümkün kılar.
Optimize Edilmiş Çekirdekler (Kernels): C++ ve CUDA çekirdeklerini kullanarak TGI, saf Python tabanlı çalıştırıcılara kıyasla aşırı yüklemeyi (overhead) en aza indirir.
Sürekli Toplu İşleme (Continuous Batching): Geleneksel toplu işleme yöntemlerinin aksine, TGI sürekli toplu işleme uygular; bu sayede mevcut toplu iş tamamlandığı anda yeni istekler işleme alınabilir ve veri akışı önemli ölçüde artar.
Yapılandırılmış Çıktı: TGI, çıktının JSON veya diğer yapılandırılmış formatlara ayrıştırılmasını sağlar; bu da LLM'leri uygulama mantığına entegre etmek için kritik öneme sahiptir.

Çevrenizi Docker ile Kurma

TGI'yi dağıtmanın en basit yolu Docker kullanmaktır. Bu, ortam tutarlılığını sağlar ve CUDA ile PyTorch'un karmaşık bağımlılıklarını otomatik olarak yönetir. Kabuğu çalıştırmadan önce, GPU'larınızı kabuğa (container) açmak için nvidia-container-toolkit'in yüklü olduğundan emin olun.

Aşağıda, en son kararlı görüntüyü (image) çekip yerel bir sunucu başlatan komut yerleştirilmiştir. Örnek olarak popüler mistralai/Mistral-7B-Instruct-v0.2 modelini kullanacağız ve varsa iki GPU için tensor paralelizmini etkinleştireceğiz.

docker run --gpus all \
  -p 8080:80 \
  -v /path/to/huggingface/cache:/data \
  ghcr.io/huggingface/text-generation-inference:latest \
  --model-id mistralai/Mistral-7B-Instruct-v0.2 \
  --tensor-parallelism 2

Bu komuttaki ana bayraklar:

--gpus all: Kullanılabilir tüm GPU'ları kabuğa iletir.
-p 8080:80: Kabuğun dahili 80 numaralı bağlantı noktasını, ana bilgisayarınızın 8080 numaralı bağlantı noktasına eşler.
--model-id: Hugging Face Hub'dan modeli belirtir.
--tensor-parallelism: Modelin paylaştırılacağı GPU sayısını ayarlar.

API ile Etkileşim

Sunucu çalışmaya başladığında, standart HTTP istekleri kullanarak onunla etkileşime geçebilirsiniz. TGI, hem akışlı (streaming) hem de akışsız yanıtları destekleyen birleşik bir API sağlar. Bir tamamlama (completion) oluşturmak için requests kütüphanesini kullanan bir Python örneğine bakalım.

import requests
import json

url = "http://localhost:8080/generate"
headers = {"Content-Type": "application/json"}
data = {
    "inputs": "Fransa'nın başkenti nedir?",
    "parameters": {
        "max_new_tokens": 50,
        "temperature": 0.7,
        "top_p": 0.9
    }
}

response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json())

Gerçek zamanlı uygulamalar için akışlı yanıtları tercih edebilirsiniz. TGI, bunu SSE (Sunucu Tarafından Gönderilen Olaylar) aracılığıyla destekler; bu sayede model metin oluştururken ön yüzünüz (frontend) kullanıcı arayüzünü karakter karakter güncelleyebilir ve daha akıcı bir kullanıcı deneyimi sağlayabilir.

Optimizasyon ve Üretim Düşünceleri

Geliştirme aşamasından üretime geçerken aşağıdaki optimizasyonları göz önünde bulundurun:

CUDA Grafikleri: Özellikle daha küçük toplu iş boyutları için çekirdek başlatma aşırı yüklemesini azaltmak üzere CUDA grafiklerini etkinleştirin.
Flash Attention: Modelinizin Flash Attention'ı desteklediğinden ve kullandığından emin olun; bu, daha hızlı ve bellek açısından daha verimli dikkat (attention) mekanizmaları sağlar.
Quantizasyon (Sıkıştırma): TGI, modelleri 4-bit ve 8-bit hassasiyetle yüklemeyi destekler. Bu, VRAM kullanımını dramatik şekilde azaltır ve tüketici sınıfı donanımlarda daha büyük modellerin çalıştırılmasına olanak tanır.

Sonuç

Metin Üretimi Çıktısı (TGI), yerel LLM dağıtımında önemli bir ilerlemeyi temsil eder. Yüksek performanslı çekirdekleri ölçeklenebilir mimari ile birleştirerek TGI, geliştiricilerin son teknoloji modelleri düşük gecikme süresi ve yüksek veri akışıyla sunmasını sağlar. İster bir sohbet botu, ister bir iç bilgi tabanı, isterse bir kod asistanı aracı geliştiriyor olun, TGI AI modellerini üretim ortamlarında güvenilir şekilde çalıştırmak için gereken altyapıyı sağlar.

Yerel AI'nın tam potansiyelini ortaya çıkarmak için bugün TGI ile denemeler yapmaya başlayın ve açık kaynaklı dil modelleri ile mümkün olanın sınırlarını zorlayan artan geliştirici topluluğuna katılın.