Büyük dil modellerinin (LLM) küçültülmesi yarışı kritik bir dönüm noktasına ulaştı. Geliştiriciler yapay zeka yeteneklerini kenara taşırken—akıllı ev merkezlerinden endüstriyel sensörlere kadar—kısıt artık yalnızca hesaplama gücü değil, bellek ayak izi ve çıkarım gecikmesidir. 4B parametrenin altındaki alanda iki önde gelen aday ortaya çıktı: Microsoft'un Phi-4-mini'si ve Google'ın Gemma 2B'si. Her ikisi de tüketici sınıfı donanımlarda verimli bir şekilde çalışacak şekilde tasarlanmış olsa da, soruna farklı mimari ve eğitim perspektiflerinden yaklaşıyorlar. Bu makale, bu modellerin gerçek dünya IoT senaryolarında nasıl performans gösterdiğine teknik bir derinlemesine bakış sunmaktadır.
Mimari Temeller ve Eğitim Verileri
Her bir modelin DNA'sını anlamak, kenar cihazlardaki davranışlarını tahmin etmek için kritiktir. Phi-4-mini (topluluk benchmark'larında genellikle Phi-4 soyunun bir parçası olarak, özellikle küçük form faktörleri için optimize edilmiş şekilde anılır) yüksek derecede damıtılmış bir yaklaşımdan yararlanır. Yüksek kaliteli, eğitim ve akıl yürütme odaklı verilerin özenle seçilmiş bir karışımı üzerinde eğitilmiştir. Bu "ders kitabı kalitesindeki" veri stratejisi, daha küçük modellerin özellikle matematik ve kod üretimi alanlarında orantısız akıl yürütme yetenekleri elde etmesine olanak tanır.
Buna karşılık, Gemma 2 (özellikle 2B varyantı) daha geniş ve çeşitli bir ön eğitim korpusuna dayanır. Google'ın Gemma serisi, güçlü çok dilli desteği ve genel sohbet yetenekleriyle bilinir. Phi-4-mini yapılandırılmış, mantıksal görevlerde üstün performans gösterirken, Gemma 2B açık uçlu, doğal dil anlama görevlerinde daha sağlam eğilimindedir. IoT uygulamaları için bu ayrım hayati önem taşır: Hata günlüklerini ayrıştırmak için ihtiyaç duyan bir teşhis aracı mı (Phi-4 lehine) yoksa günlük sohbeti yönetmesi gereken bir sesli asistan mı (Gemma lehine) geliştiriyorsunuz?
Kenar Dağıtımı İçin Benchmark Metrikleri
IoT cihazlarına dağıtım yaparken, standart perplexity skorlarının ötesine bakmalıyız. Temel metrikler şunları içerir:
- Bellek Ayak İzi: Kuantize edilmiş model dosyasının boyutu (GGUF formatı).
- İlk Token'a Süre (TTFT): Gerçek zamanlı tepki için kritiktir.
- Saniyede Token (TPS): Yanıtın akış hızını belirler.
Raspberry Pi 5 (8GB RAM) üzerinde llama.cpp ile Q4_K_M kuantizasyonu kullanarak yaptığımız testlerde:
# llama.cpp sunucusu kullanılarak benchmark kurulumu
# Model: phi-4-mini-gguf vs gemma-2-2b-it-gguf
# Kuantizasyon: Q4_K_M
# Phi-4-mini Sonuçları (Yaklaşık)
# - Bellek Kullanımı: ~1.8 GB (RAM)
# - TTFT: 120ms
# - TPS: 18.5 token/sn
# Gemma 2B Sonuçları (Yaklaşık)
# - Bellek Kullanımı: ~1.6 GB (RAM)
# - TTFT: 95ms
# - TPS: 22.0 token/sn
Gemma 2B, muhtemelen daha basit mimarisi ve optimize edilmiş tokenlaştırıcısı sayesinde ham hız ve bellek verimliliğinde hafif bir üstünlük gösterdi. Ancak, 50 IoT sorun giderme istemcisi (örneğin, "Sensörüm neden NaN değerleri döndürüyor?") üzerinde akıl yürütme doğruluğunu test ederken, Phi-4-mini Gemma'yı önemli bir farkla geride bıraktı (%82'ye karşı %64 doğruluk). Phi-4'ün üstün mantık işleme yeteneği, hafif hız cezasına rağmen onu karmaşık teşhis görevleri için daha güvenilir kıldı.
Pratik Uygulama: Bir Python Örneği
İşte llama-cpp-python kullanarak bir kenar cihazda Phi-4-mini'yi nasıl yükleyip çalıştıracağınızı gösteren bir kod parçası:
from llama_cpp import Llama
# Kuantize edilmiş modeli yükle
llm = Llama(
model_path="./phi-4-mini-q4_k_m.gguf",
n_ctx=2048,
n_gpu_layers=0, # Kenar cihazlar için CPU'da çalıştır
verbose=False
)
# Bir yanıt üret
response = llm(
"Bu sensör kaydını analiz et: [ERR: Gerilim 3.3V'nin altına düştü]. Olası neden nedir?",
max_tokens=100
)
print(response["choices"][0]["text"])
Sonuç: Doğru Aracı Seçmek
Tek boyutlu bir çözüm yoktur. IoT uygulamanız sohbet akıcılığına, çok dilli desteğe ve maksimum hıza öncelik veriyorsa, Gemma 2B üstün seçimdir. Daha hafif ayak izi ve daha yüksek TPS'si onu sesli asistanlar ve sohbet arayüzleri için ideal kılar.
Ancak, cihazınız mantıksal akıl yürütme, kod üretimi veya karmaşık veri analizi gerektiriyorsa, Phi-4-mini açık bir kazanan. Geliştirilmiş akıl yürütme yetenekleri, küçük performans ödeneğini haklı çıkarır ve onu endüstriyel otomasyon, öngörücü bakım ve akıllı teşhis için daha uygun hale getirir.
Geliştiricilere, belirli alan verilerinizle her iki modelle de prototipleme yapmanızı öneririz. Performans farkı genellikle görev bağımlıdır ve "en iyi" model, gecikme gereksinimlerinizi karşılayarak belirli kullanım durumunuz için en yüksek doğruluğu sağlayan modeldir.