Technical Tutorials

Büyük Dil Modelleri (LLM'ler) trilyonlarca parametreye ulaştıkça, bunları destekleyen donanım radikal bir dönüşüm geçiriyor. Veri merkezi endüstrisine onlarca yıldır hizmet veren geleneksel hava soğutmalı raf mimarisi, fiziksel sınırlarına dayanıyor. NVIDIA H100 ve B200 gibi modern GPU'ların çip başına 1.000W'ı aşan ısı yoğunlukları üretmesiyle, termal çıkışın yönetimi artık sadece bir bakım sorunu değil; maliyeti, performansı ve dağıtım hızını etkileyen kritik bir mimari karardır.

Altyapı mühendisleri ve AI operasyon ekipleri için, verimli ve yüksek yoğunluklu çıkarım kümeleri oluştururken hava soğutmalı ve sıvı soğutmalı sistemler arasındaki trade-off'ları (karşılıklı avantaj/dezavantajları) anlamak hayati önem taşır. Bu yazıda, her iki yaklaşımın teknik gerçekleri, performans etkileri ve pratik stratejileri ele alınmaktadır.

Hava Soğutmanın Tavanı

Hava soğutma, GPU'lara ve CPU'lara takılı soğutuculardan ısıyı dağıtmak için fanlar tarafından oluşturulan yüksek hacimli hava akımına dayanır. Tanıdık ve ölçeklenebilir olsa da, güç yoğunluğu arttıkça azalan verimlilikle karşılaşır.

Tipik bir 42U rafında 8-16 GPU düğümü sığdırabilirsiniz. Ancak her GPU 700W çekiyorsa, raf yoğunluğu 10-14kW'a yaklaşır. Bu seviyelerde hava darboğaz haline gelir. Havayı hareket ettirmek için aşırı fan gücü gerekir; bu güç kendisi ısı üretir (Joule ısınması), bu da genel verimliliği düşüren bir geri besleme döngüsü yaratır. Ayrıca hava, sıvılara kıyasla düşük özgül ısı kapasitesine sahiptir; bu da havanın ısıyı kaynaktan uzaklaştırma ve emme konusunda sıvılar kadar etkili olamayacağı anlamına gelir.

Sıvı Soğutma: Daldırma ve Çipe Doğrudan

Sıvı soğutma çözümleri, önemli ölçüde daha yüksek termal iletkenlik sunar. İki temel uygulama yöntemi vardır:

Çipe Doğrudan (Soğuk Plaka): Sıvı, en sıcak bileşenlere (GPU/CPU) doğrudan takılı plakalar üzerinden dolaşır; sistemin geri kalanı hava soğutmalı kalır veya hibrit bir yaklaşım kullanılır.
Daldırma Soğutma: Tüm sunucu, bir dielektrik sıvıya daldırılır. Bu yöntem, hava boşluklarını ortadan kaldırarak donanımın inanılmaz derecede yoğun bir şekilde paketlenmesine olanak tanır.

Birincil avantaj, Enerji Kullanım Etkinliği (PUE) değeridir. Sıvı soğutmalı veri merkezleri, PUE değerlerini 1.01-1.05 aralığına yakın tutabilirken, hava soğutmalı tesisler genellikle 1.5-1.6 altında kalmakta zorlanır. 7/24 çalışan bir AI kümesi için, sadece soğutma konusunda sağlanan enerji tasarrufu oldukça önemli olabilir.

Pratik Yapılandırma: Termal Darbeliği İzleme

Soğutma yöntemi ne olursa olsun, LLM çıkarımı sırasında termel başlangıç payını izlemek kritiktir. Aşağıda, darbeliği (throttling) önlemek için GPU sıcaklığını izleyen ve çıkarım yığın boyutlarını (batch size) dinamik olarak ayarlayan `pynvml` kütüphanesini kullanan bir Python kod parçacığı bulunmaktadır.

import pynvml
import time

def monitor_thermal_headroom(gpu_index, max_temp_threshold=85):
    pynvml.nvmlInit()
    handle = pynvml.nvmlDeviceGetHandleByIndex(gpu_index)
    
    while True:
        temp = pynvml.nvmlDeviceGetTemperature(handle, pynvml.NVML_TEMPERATURE_GPU)
        power_draw = pynvml.nvmlDeviceGetPowerUsage(handle) / 1000.0  # Watt'a çevir
        
        if temp > max_temp_threshold:
            print(f"⚠️  Uyarı: GPU {gpu_index} {temp}°C'de. Yük azaltılıyor.")
            # Eşzamanlı çıkarım isteklerini veya yığın boyutunu azaltma mantığı
            break
        else:
            print(f"✅  GPU {gpu_index}: {temp}°C | Güç: {power_draw:.2f}W")
            
        time.sleep(5)

# monitor_thermal_headroom(0)

Maliyet ve Operasyonel Karmaşıklık

Sıvı soğutma üstün termal performans sunsa da, operasyonel karmaşıklık getirir. Modern güvenlik özelliklerine rağmen sızıntılar, risk faktörü olarak kalmaya devam eder. Daldırma tankları özel bakım prosedürleri gerektirir ve dielektrik sıvının değişimi pahalıdır. Buna karşılık, hava soğutmalı sistemler modülerdir, onarımı kolaydır ve yedek parçalar için mevcut tedarik zincirlerinden yararlanırlar.

Bununla birlikte, maksimum işlem gücünü minimum alana sığdırarak ağ gecikmesini ve kablo karmaşıklığını azaltmanız gereken yüksek yoğunluklu LLM çıkarımı için sıvı soğutma standart haline gelmektedir. Enerji tasarrufu ve daha yüksek donanım yoğunluğu nedeniyle Toplam Sahiplik Maliyeti (TCO) analizi genellikle 3-5 yıl sonra sıvı soğutmayı lehine sonuçlandırır.

Sonuç

Hava ve sıvı soğutma arasındaki seçim ikili değil, duruma bağlıdır. Küçük ölçekli bir deneysel küme dağıtıyorsanız, hava soğutma hala yeterli ve maliyet-etkindir. Ancak, maksimum verimlilik ve enerji verimliliği hedefleyen, üretim seviyesinde yüksek yoğunluklu LLM çıkarım kümeleri için sıvı soğutma (özellikle çipe doğrudan soğuk plakalar) hızla gerekli standart haline gelmektedir. AI modelleri büyümeye devam ettikçe, havanın termal kısıtlamaları daha da sıkılaşacak; bu da gelişmiş termal stratejilerin erken benimsenmesini rekabet avantajı haline getirecektir.