Technical Tutorials

Büyük Dil Modelleri (LLM) dünyası gelişirken, özel, maliyet etkin ve yüksek performanslı çıktı çözümlerine olan talep patlama yaşadı. Bulut tabanlı API'lerden yerel dağıtıma geçiş yapan geliştiriciler için Hugging Face'in Metin Üretimi Çıktısı (TGI) altın standart haline gelmiştir. Hız ve ölçeklenebilirlik için tasarlanan TGI, NVIDIA donanımı üzerinde optimize edilmiş veri akışı ile Llama 3, Mistral ve Falcon gibi modelleri sunmanıza olanak tanır. Bu rehber, üretim seviyesinde yerel yapay zeka için TGI'nin nasıl kullanılacağını keşfeder.

Neden TGI Seçmelisiniz?

transformers gibi Python kütüphaneleri aracılığıyla bir LLM'yi yerelde çalıştırmak basit olsa da, üretim yükleri için genellikle verimsizdir. TGI, aşağıdaki kritik optimizasyonları sunarak bu sorunu ele alır:

Yüksek Veri Akışı: Birden fazla isteği aynı anda işlemek için sürekli toplu işleme (dinamik toplu işleme olarak da bilinir) kullanarak GPU kullanımını maksimize eder.
Tensör Paralelliiği: Tek bir kart yetersizse, büyük modelleri sorunsuz bir şekilde birden fazla GPU arasında dağıtır.
Optimize Edilmiş Çekirdekler: Daha hızlı hesaplama için Flash Attention ve cuBLAS gibi kütüphanelerle entegre olur.
Akış Desteği: Yanıt veren sohbet uygulamaları için temel olan, token bazlı akış için yerel destek sunar.

Docker ile Başlangıç

TGI'yi dağıtmanın en kolay yolu Docker üzerinden yapmaktır. Hugging Face, CUDA bağımlılıklarının ve PyTorch yapılandırmalarının karmaşıklığını soyutlayan önceden hazırlanmış görüntüler sağlar. İlk olarak, Docker'ın yüklü olduğundan ve NVIDIA Container Toolkit'in GPU kaynaklarını konteynerlere açacak şekilde yapılandırıldığından emin olun.

En son TGI sunucusunu çekmek ve çalıştırmak için aşağıdaki komutu kullanın:

docker run --gpus all -p 8080:80 -v /path/to/models:/data ghcr.io/huggingface/text-generation-inference:latest \
  --model-id meta-llama/Meta-Llama-3-8B \
  --num-shard 1 \
  --max-input-length 4096 \
  --max-total-tokens 8192

Not: --model-id bağımsız değişkeni, Hugging Face Hub model tanımlayıcısını belirtir. Model boyutuna ve GPU VRAM'inize bağlı olarak, --num-shard parametresini (örneğin 70B+ modeller için 2 veya 4 olarak ayarlayın) ayarlamanız veya daha büyük modelleri sınırlı belleğe sığdırmak için --quantize bitsandbytes-nf4 gibi nicelleme bayraklarını kullanmanız gerekebilir.

API ile Etkileşim

Sunucu çalıştıktan sonra TGI, standart Hugging Face Çıktı API spesifikasyonu ile uyumlu bir RESTful API açığa çıkarır. curl veya herhangi bir HTTP istemcisi kullanarak onunla etkileşim kurabilirsiniz. İşte bir yanıt oluşturma örneği:

curl http://localhost:8080/generate \
  -X POST \
  -d '{"inputs":"Explain quantum computing in simple terms","parameters":{"max_new_tokens":100,"temperature":0.7}}' \
  -H 'Content-Type: application/json'

Gerçek zamanlı uygulamalar için /generate_stream uç noktasını kullanın. Bu, her bir parçada yeni oluşturulan tokenları içeren bir JSON akışı döndürerek ön ucunuzun kullanıcı arayüzünü kademeli olarak güncellemesine olanak tanır.

Performans İyileştirme

Donanımınızdan her bir performans birimini çıkarmak için aşağıdaki parametreleri göz önünde bulundurun:

--max-batch-total-tokens: Bellek hatası (OOM) oluşmasını önlemek için toplu işteki toplam token sayısını sınırlar.
--max-best-of: Birden fazla aday oluşturmanıza ve en iyisini seçmenize olanak tanır; karmaşık akıl yürütme görevleri için faydalıdır.
GPU Bellek Yönetimi: VRAM kullanımını izleyin. OOM (Bellek Yetersiz) hatalarıyla karşılaşırsanız, max-input-length değerini azaltmayı veya nicellemeyi etkinleştirmeyi deneyin.

Sonuç

Metin Üretimi Çıktısı, yerel LLM dağıtımı için önemli bir ilerlemeyi temsil eder. Dağıtık hesaplama ve bellek yönetiminin karmaşıklığını soyutlayarak TGI, geliştiricilerin kendi altyapıları üzerinde sağlam, ölçeklenebilir yapay zeka uygulamaları oluşturmalarını sağlar. İster modelleri ince ayarlıyor olun, ister özel bir RAG sistemi oluşturuyor olun, TGI yapay zeka hizmetlerinizin hem hızlı hem de güvenilir olmasını sağlamak için gerekli araçları sunar. Bugün Docker ile denemeye başlayın ve yapay zeka hattınızın kontrolünü ele alın.