Technical Tutorials

Büyük Dil Modelleri'nin (LLM) üretim iş akışlarına entegrasyonu, geleneksel yazılım testlerinin hiç karşılaşmak zorunda kalmadığı temel bir zorluk olan belirsizliği (non-determinism) ortaya çıkarır. Klasik yazılım mühendisliğinde, eğer bir fonksiyon bugün 42 değerini döndürüyorsa, aynı girdiler verildiğinde yarın da 42 değerini döndürmelidir. Ancak LLM'lerde, sıcaklık (temperature) sıfıra ayarlansa bile, sistem yükündeki küçük dalgalanmalar, alt yapı değişiklikleri veya model güncellemeleri, çıktıda ince kaymalara neden olabilir. Bu makale, altın veri setleri tanımlayarak ve uygun değerlendirme metrikleri seçerek nasıl sıkı regresyon test çerçeveleri kurulacağını inceler.

Tam Metin Eşleşmesinin Efsanesi

Geliştiricilerin LLM'leri test ederken yaptığı en yaygın hata, katı eşitlik kontrolleri kullanmaktır. Modelinizin bir özet ürettiği bir senaryoyu düşünün. Katı bir test şu şekilde görünebilir:

def test_llm_output():
    result = llm.generate(input="Belgeyi özetle")
    assert result == "Bu tam olarak istenen altın özet."

Bu yaklaşım izole bir ortamda çalışsa da, üretim ortamında kırılgandır. Model bir satır sonu eklerse, bir noktalı virgülü noktaya dönüştürürse veya bir yargıyı eş anlamlı bir şekilde yeniden ifade ederse test başarısız olur. Bu durum, geliştiricilerin gerçek hataları düzeltmekten daha çok testleri düzeltmekle uğraşmasına neden olan "test kararsızlığına" yol açar. Buna karşı koymak için, tam metin eşleşmesinden anlamsal ve yapısal değerlendirmeye geçmeliyiz.

Etkili Altın Veri Setlerinin Tanımlanması

Altın veri seti, beklenen çıktılarla eşleştirilmiş özenle hazırlanmış bir girdi koleksiyonudur. Ancak LLM'ler için "beklenen çıktı" her zaman tek bir metin olmalıdır. Bunun yerine, kabul edilebilir yanıtların bir aralığını veya bir dizi kısıtlamayı temsil etmelidir. Etkili altın veri setleri şunları içermelidir:

Uç Durumlar (Edge Cases): Modelin sağlamlığını test etmek için belirsiz, çelişkili veya aşırı uzun girdiler.
Çeşitlilik: Modelin iyi genelleme yaptığını sağlamak için çeşitli tonlar, uzunluklar ve karmaşıklık düzeyleri.
Yapılandırılmış Doğru Cevap (Ground Truth): Mümkün olduğunda, tüm metni değil, belirli anahtarları doğrulayabilmek için çıktıları yapılandırılmış formatlarda (JSON gibi) tanımlayın.

Metrik Eşik Değerleri: BLEU Puanlarının Ötesinde

BLEU veya ROUGE gibi geleneksel NLP metrikleri, modern LLM çıktılarının nüanslarını yakalamakta sıklıkla başarısız olur. Paraphrasing'i (farklı kelimelerle ifade etme) ağır bir şekilde cezalandırırlar ki bu da üretici görevler için haksızdır. Bunun yerine, geliştiriciler şu yaklaşımın hibrit bir kullanımını uygulamalıdır:

Bulanık Metin Eşleşmesi: Küçük yazım hatalarına veya biçimlendirme farklılıklarına izin vermek için Levenshtein veya Wuzzy gibi kütüphanelerin kullanılması.
Anlamsal Benzerlik: Model çıktısı ve altın cevabın gömülmesinin (embedding) yapılması, ardından kosinüs benzerliğinin hesaplanması. Kelimeler farklı olsa bile, bir eşik değeri (örneğin 0.85) anlamsal eşdeğerliği gösterir.
Hakem Olarak LLM: Ayrı, daha güçlü bir LLM kullanarak, belirli değerlendirme kriterlerine dayanarak çıktının kalitesini altın cevaba göre değerlendirmesi.

Bulanık Test Paketi Uygulaması

İşte Python ve sentence-transformers kütüphanesi kullanılarak anlamsal benzerlik kontrolünün uygulanmasına dair pratik bir örnek. Bu yaklaşım, regresyon testlerinizin yüzeysel değişikliklerde başarısız olmadan önemli anlamsal kaymaları yakalamasını sağlar.

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer('all-MiniLM-L6-v2')

def test_semantic_similarity():
    altin_cikis = "Proje, bütçe kısıtlamalarına rağmen zamanında tamamlandı."
    gercek_cikis = "Proje, yetersiz bütçeyle rağmen son teslim tarihine içinde bitti."
    
    # Cümleleri kodla
    embeddings = model.encode([altin_cikis, gercek_cikis])
    
    # Kosinüs benzerliğini hesapla
    cosine_score = util.cos_sim(embeddings[0], embeddings[1])
    
    # Eşik değeri tanımla
    ESIK_DEGER = 0.75
    assert cosine_score[0][0] > ESIK_DEGER, \
        f"Anlamsal kayma tespit edildi: {cosine_score[0][0]}"

Sonuç

LLM'leri değerlendirmek, deterministik testlerden olasılıksal değerlendirmeye bir paradigma değişimi gerektirir. Çeşitli senaryoları kapsayan kapsamlı altın veri setleri oluşturarak ve kosinüs benzerliği veya hakem olarak LLM gibi metrikler kullanarak ekipler, kritik hatalara karşı hassas olup zararsız varyasyonlara karşı dirençli regresyon testleri oluşturabilir. LLM alanı gelişmeye devam ettikçe, test stratejiniz de basit metin karşılaştırmalarından bütünsel kalite güvencesine doğru ilerleyerek onunla birlikte gelişmelidir.