Technical Tutorials

Büyük dil modellerinin (LLM) ve karmaşık bilgisayarlı görü görevlerinin çağı, GPU sunucularını oyun geliştiricileri için niş donanımdan küresel ekonominin omurgasına dönüştürdü. Orta ve ileri düzey geliştiriciler için bu sistemlerin mimarisini, ağ altyapısını ve yazılım yığınını anlamak artık isteğe bağlı değil; eğitim sürelerini optimize etmek, çıkarım maliyetlerini azaltmak ve altyapıyı etkili bir şekilde ölçeklendirmek için şarttır.

Donanım Manzarasını Anlama

Herhangi bir yapay zeka sunucusunun kalbinde GPU bulunur. Sektör standardı şu anda NVIDIA'nın veri merkezi hızlandırıcıları, özellikle A100 (Ampere) ve daha yeni H100 (Hopper) mimarileri etrafında şekilleniyor. Tüketici sınıfı GPU'lar bütçe dostu projeler için cazip görünse de, veri merkezi GPU'ları üstün bellek bant genişliği, hata düzeltme kodlu (ECC) bellek ve yapay zeka iş yükleri için optimize edilmiş özel tensor çekirdekleri sunar.

Bir GPU sunucusu seçerken dikkate alınması gereken temel metrikler şunlardır:

VRAM Kapasitesi: Model ağırlıklarını ve aktivasyonları sığdırmak için kritiktir. 70 milyar parametreli bir LLM, 7 milyar parametreli bir modele göre çok daha fazla VRAM gerektirir.
Bellek Bant Genişliği: GB/s cinsinden ölçülür. Daha yüksek bant genişliği, GPU belleği ile hesaplama birimleri arasındaki veri hareketinin hızlanmasını sağlar.
İnterconnect Teknolojisi: NVIDIA NVLink ve NVSwitch, tek bir sunucudaki birden fazla GPU'nun standart PCIe'yi çok aşan hızlarda iletişim kurmasına olanak tanır; bu da model paralelliği için hayati önem taşır.

Sistem Mimarisi ve Soğutma

Yüksek uç GPU sunucuları yoğun güç tüketir. Tek bir H100, yük altında 700W'a kadar güç çekebilir. Sonuç olarak, sunucunun fiziksel tasarımı termal yönetimi dikkate almalıdır. 4 GPU'lu yapılandırmalar için hava soğutmalı çözümler yaygındır, ancak 8 GPU'lu sunucular genellikle optimal sıcaklıkları korumak ve boğulmayı (throttling) önlemek için sıvı soğutma veya yüksek akışlı hava soğutma gerektirir.

Ayrıca, CPU destekleyici ancak kritik bir rol oynar. Veri ön işlemenin GPU'ya gönderilmeden önce CPU'da gerçekleştiği karmaşık iş yüklerinde, yüksek bellek bant genişliğine sahip çok çekirdekli bir CPU, GPU'nun veri beklerken boşta kalmasını önler. PCIe nesli (Gen 4 vs. Gen 5) de önemlidir; Gen 5 bant genişliğini ikiye katlayarak GPU'ya veri aktarımındaki darboğazı azaltır.

Yazılım Yığını ve Sürücü Yönetimi

Doğru yazılım yığını olmadan donanım işe yaramaz. GPU sunucularını yönetmek katmanlı bir yaklaşım gerektirir:

İşletim Sistemi ve Sürücüler: Çoğu yapay zeka sunucusu Linux üzerinde çalışır (Ubuntu veya RHEL popülerdir). CUDA aracınızıyla eşleşen doğru NVIDIA sürücü sürümünü yüklemeniz gerekir.
CUDA Arac Paketi: Kodun GPU üzerinde çalıştırılmasını sağlayan temel yazılım katmanıdır.
Kapsayıcılıklandırma (Containerization): Docker ve NVIDIA Container Toolkit (NVIDIA Docker), ortamları izole etmek için standarttır. Bu, farklı sunucular arasında tekrarlanabilirliği sağlar.

NVIDIA Container Toolkit kullanarak GPU erişimiyle bir Docker kapsayıcısı çalıştırmanın bir örneği aşağıdadır:

# NVIDIA Container Toolkit'i yükleyin
# Ardından GPU erişimiyle bir PyTorch görüntüsü çalıştırın
docker run --gpus all --rm -it --name ai_dev \
  -v $(pwd):/workspace \
  -w /workspace \
  nvidia/cuda:12.1.0-devel-ubuntu22.04 \
  /bin/bash

# Kapsayıcı içinde GPU görünürlüğünü doğrulayın
nvidia-smi

Çok Düğümlü Eğitim İçin Ağ

Tek bir sunucunun ötesine ölçeklendiğinizde, düğümler arası iletişim darboğaz haline gelir. InfiniBand ve RoCE (RDMA over Converged Ethernet), yapay zeka kümeleri için tercih edilen ağ kumaşlarıdır. Düşük gecikme ve yüksek veri aktarım hızı sağlarlar; bu da PyTorch Distributed veya DeepSpeed gibi dağıtık eğitim çerçeveleri için gereklidir.

Standart Ethernet (TCP/IP), çekirdek atlatma (kernel bypass) kısıtlamaları nedeniyle yüksek ek yük (overhead) oluşturur. Ciddi büyük ölçekli eğitimler için, ağ anahtarlarınızın RoCE v2'yi desteklediğinden ve NIC'lerinizin paket düşmesini önlemek için kayıpsız Ethernet ayarlarıyla doğru yapılandırıldığından emin olun.

İzleme ve Gözlemlenebilirlik

İşleri körü körüne çalıştırmak verimsizdir. GPU kullanım oranı, bellek kullanımı ve sıcaklık hakkında gerçek zamanlı görünürlüğe ihtiyacınız var. nvidia-smi gibi araçlar temel içgörüler sağlar, ancak üretim kümeleri için Prometheus ve Grafana ile entegrasyon yapın. GPU metriklerini Prometheus formatında açığa çıkarmak için dcgm-exporter'ı (NVIDIA Data Center GPU Manager) kullanın.

# dcgm-exporter'ı yükleyin
sudo apt-get install datacenter-gpu-manager
dcgmi discovery -l
dcgm-exporter &
# Metrikler artık localhost:9400/metrics adresinde kullanılabilir

Sonuç

GPU sunucuları oluşturmak ve yönetmek, donanım bilgisi, ağ yapılandırması ve yazılım mühendisliğini birleştiren karmaşık bir disiplindir. Yapay zeka modelleri boyut ve karmaşıklık açısından büyüdükçe, altyapınızın verimliliği doğrudan kârınıza etki edecektir. Doğru donanım seçimlerine, sağlam ağ altyapısına ve kapsamlı izlemeye odaklanarak, makine öğrenmesinin geleceğine hazır, dayanıklı ve yüksek performanslı bir yapay zeka altyapısı oluşturabilirsiniz.