Technical Tutorials

Büyük Dil Modelleri (LLM) kullanımının erken dönemlerinde, istem mühendisliği büyük ölçüde bir sanat formuydu. Geliştiriciler, daha iyi çıktılar elde etmek için saatlerce sistem talimatlarını, birkaç örnekli (few-shot) örnekleri ve sıcaklık ayarlarını manuel olarak ince ayar yapıyordu. Sezgi hala rol oynasa da, sektör giderek daha titiz, veriye dayalı bir yaklaşıma, yani Otomatik İstem Optimizasyonuna (APO) doğru hızla kayıyor. İstemleri kod olarak ele alıp yazılım mühendisliği ilkelerini—özellikle A/B testini ve titiz metrik değerlendirmesini—uygulayarak, binlerce kullanım durumu boyunca LLM performansını ölçeklendirebiliriz.

Manuel İnce Ayarlardan Sistematik Deneylere

LLM'leri ölçeklendirmenin temel zorluğu, belirsizliktir (non-determinism). Bir kullanıcı sorgusu için mükemmel çalışan bir istem, başka bir sorgu için başarısız olabilir. Manuel optimizasyon ölçeklenemez çünkü tek bir mühendisin her varyasyonu her uç durumla (edge case) test etmesi imkansızdır. Bunun yerine, varyasyonları otomatik olarak üreten, bunları bir test paketi üzerinde çalıştıran ve kazananı nicel metrikler temelinde seçen bir boru hattına (pipeline) ihtiyacımız var.

Bu süreç, ürün geliştirmedeki klasik A/B testine benzer. LLM bağlamında, sadece kullanıcı arayüzü düğmelerini değil, modele verilen talimatların anlamsal yapısını test ediyoruz. Bir sistem isteminin ifade şeklini değiştirebilir, birkaç örnekli örneklerin sayısını artırabilir veya çıktı formatı kısıtlamalarını değiştirebiliriz. Amaç, en yüksek güvenilirlik ve doğruluk sağlayan yapılandırmayı belirlemektir.

Robust Değerlendirme Metriklerinin Tanımlanması

İstemleri etkili bir şekilde optimize etmek için öncelikle "başarının" nasıl göründüğünü tanımlamalısınız. Kaliteye dair öznel hisler otomasyon için yetersizdir. Programatik olarak hesaplanabilen metriklere ihtiyacınız vardır. Yaygın kategoriler şunları içerir:

Tam Eşleşme: Model, beklenen tam dizgeyi çıkardı mı? Basit sınıflandırma görevleri için faydalıdır.
Levenshtein Mesafesi: Oluşturulan metin, gerçek değerden (ground truth) ne kadar yakın? Tam kelime kullanımının kritik olmadığı özetleme görevleri için iyidir.
Hakem Olarak LLM: Birincil LLM'nin çıktısının kalitesini, bir değerlendirme kriterine (rubric) göre puanlamak için ikincil, yüksek yetenekli bir LLM kullanmak. Bu, karmaşık akıl yürütme görevleri için altın standarttır.
Gecikme ve Maliyet: Verimlilik metrikleri. %10 daha hızlı çalışan, biraz daha az doğru bir istem, daha iyi bir iş seçeneği olabilir.

Müşteri destek botu oluşturduğunuz bir senaryoyu düşünün. Botun teknik soruları ne kadar iyi yanıtladığını değerlendirmek istiyorsunuz. Soru-cevap çiftlerinden oluşan bir gerçek değer veri kütesi oluşturabilir ve istem varyasyonlarınızı bunun üzerinden çalıştırabilirsiniz.

Python ile Bir A/B Test Döngüsü Uygulama

Bir A/B testini simüle etmek için Python ve OpenAI API kullanarak pratik bir örneğe bakalım. Duygu analizi (sentiment analysis) görevi için iki farklı sistem istemini karşılaştıracağız ve basit bir token tabanlı benzerlik puanı kullanarak değerlendireceğiz.

import openai
from difflib import SequenceMatcher

# İki istem varyantı için yapılandırma
PROMPT_A = """Yardımsever bir asistansınız. Aşağıdaki metnin duygusunu pozitif, negatif veya nötr olarak sınıflandırın."""
PROMPT_B = """Bir uzman dilbilimci gibi davranın. Kullanıcı girdisinin duygusal tonunu analiz edin. Sınıflandırmayı yalnızca 'pozitif', 'negatif' veya 'nötr' olarak sağlayın."""

TEST_DATA = [
    ("Bu ürünü gerçekten seviyorum!", "pozitif"),
    ("Bir gün sonra bozuldu.", "negatif"),
    ("Güzel bir renk.", "nötr")
]

def get_llm_output(prompt, input_text):
    response = openai.chat.completions.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "system", "content": prompt}, {"role": "user", "content": input_text}]
    )
    return response.choices[0].message.content.strip()

def calculate_similarity(output, expected):
    return SequenceMatcher(None, output.lower(), expected.lower()).ratio()

# A/B Testini Çalıştır
results_a = []
results_b = []

for query, expected in TEST_DATA:
    res_a = get_llm_output(PROMPT_A, query)
    res_b = get_llm_output(PROMPT_B, query)
    
    results_a.append(calculate_similarity(res_a, expected))
    results_b.append(calculate_similarity(res_b, expected))

avg_score_a = sum(results_a) / len(results_a)
avg_score_b = sum(results_b) / len(results_b)

print(f"İstem A Ortalama Doğruluğu: {avg_score_a:.2%}")
print(f"İstem B Ortalama Doğruluğu: {avg_score_b:.2%}")

if avg_score_b > avg_score_a:
    print("Kazanan: İstem B (Rol Yapma + Kısıtlamalar)")
else:
    print("Kazanan: İstem A (Basit Talimatlar)")

Yukarıdaki kodda, İstem B, bir kişilik ("uzman dilbilimci") ve açık kısıtlamalar ("yalnızca ... olarak") ekleyerek İstem A'dan daha iyi performans göstermiştir. Bu, küçük yapısal değişikliklerin çıktı kalitesi üzerinde ölçülebilir etkileri olabileceğini gösterir.

İteratif İyileştirme ile Ölçeklendirme

Bir taban çizgisi oluşturduktan sonra, otomatik istem optimizasyonu iteratif iyileştirmeye olanak tanır. İstemleri evriltmek için genetik algoritmalar kullanabilirsiniz; burada "en uygun" istemler (en yüksek metrik puanlarına sahip olanlar) birleştirilir ve yeni adaylar oluşturmak için mutasyona uğratılır. Bu yaklaşım insan önyargısını ortadan kaldırır ve genellikle insan mühendislerin gözden kaçırdığı sezgisel olmayan istem yapılarını ortaya çıkarır.

Bununla birlikte, ölçeklendirme sorumluluklar getirir. Test için API çağrılarının hacmini artırdıkça maliyetler ve gecikme artar. Aynı girdiler için önbellekleme mekanizmaları uygulamak ve düşük performans gösteren varyantları hızlı bir elemek çok önemlidir. Ayrıca, otomatik testleri nihai bir kapı görevlisi olarak değil, bir filtre olarak kullanarak kritik uygulamalar için her zaman "insan döngüsünde" (human-in-the-loop) bir kontrol noktası koruyun.

Sonuç

Otomatik İstem Optimizasyonu, istem mühendisliğini statik bir zanaatten dinamik bir mühendislik disiplinine dönüştürür. A/B testinden ve titiz metriklerden yararlanarak geliştiriciler, LLM uygulamalarının sadece işlevsel değil, aynı zamanda ölçeklenebilirlik doğruluğu, maliyeti ve güvenilirliği açısından optimize edildiğinden emin olabilir. AI geliştirmenin geleceği, istemlerini kodlarını ölçtükleri kadar hassas bir şekilde ölçebilenlerin olacaktır.