Büyük Dil Modellerini (LLM) kod üretimi veya matematiksel akıl yürütme gibi nesnel görevlerde değerlendirdiğimizde metrikler genellikle net olur. Kod çalışıyor mu? Cevap doğru mu? Ancak yaratıcı yazarlık, pazarlama metinleri veya incelikli müşteri desteği yanıtları gibi öznel çıktılarla uğraşırken, ikili "iyi" veya "kötü" etiketleri hızlı bir şekilde uygulanabilir içgörüler sağlamayı bırakır. Bir yanıt dilbilgisi açısından mükemmel olabilir ancak tonu tamamen yanlış olabilir, ya da fiilen doğru ama sıkıcı olabilir. Bu alanlarda LLM performansını gerçekten optimize etmek için geliştiricilerin ayrıntılı, çok boyutlu değerlendirme ölçeklerini benimsemesi gerekir.
İkili Değerlendirmenin Sınırlılıkları
İkili sınıflandırma, kaliteyi evet/hayır önermesi olarak ele alır. Bu, veri etiketlemeyi basitleştirse de, "geçer" bir çıktıyı "mükemmel" olandan ayıran kalite yelpazesini ortadan kaldırır. Öznel alanlarda kullanıcı memnuniyeti nadiren ikili olur. Ton, yapı, empati ve özlülük tarafından etkilenir. Basit başparmak yukarı veya aşağı geri bildirimlerine güvenmek, belirli model zayıflıklarını belirlemeyi zorlaştıran gürültülü bir sinyal oluşturur. Örneğin, kullanıcıların %80'i bir taslağı "iyi" olarak puanlarsa, kalan %20'nin halüsinasyonlar nedeniyle mi yoksa sadece farklı bir stil tonunu tercih ettiğinden mi başarısız olduğunu bilemezsiniz.
Çok Boyutlu Ölçekler Oluşturma
Dayanıklı bir ölçek, "kaliteyi" bağımsız, ölçülebilir özelliklere ayırır. Her özellik, genellikle 1'den 5'e kadar değişen ve her seviye için açık tanımlayıcılar içeren tanımlı bir ölçekte puanlanır. Bu yaklaşım, hedefli ince ayar veya istem mühendisliği ayarlamalarına olanak tanır.
Müşteri desteği sohbet robotu için aşağıdaki özellikleri düşünün:
- Doğruluk: Sağlanan bilgi fiilen doğru mu?
- Ton: Yanıt empatik ve profesyonel mi?
- Özlülük: Yanıt, kritik detayları atlamadan kısa mı?
- Uygulanabilirlik: Net sonraki adımlar sağlıyor mu?
Uygulama Stratejisi
Bu ölçeklerin uygulanması genellikle LLM'leri yargıç olarak kullanmayı (LLM-as-a-Judge) içerir. Ancak önyargıyı ve varyansı azaltmak için değerlendirme istemi, ölçek tanımlarına açıkça atıfta bulunmalıdır. Aşağıda, yapılandırılmış çıktı için JSON şeması kullanarak bir değerlendirme isteğini nasıl yapılandıracağınızı gösteren bir kod örneği bulunmaktadır.
import json
def evaluate_response(prompt: str, response: str, rubric: dict) -> dict:
"""
Bir meta-değerlendirici kullanarak bir LLM yanıtını belirli bir ölçüte göre değerlendirir.
"""
evaluation_prompt = f"""
Siz bir uzman değerlendiricisiniz. Aşağıdaki LLM yanıtını sağlanan ölçüte göre değerlendirin.
**Orijinal Kullanıcı İstemi:**
{prompt}
**LLM Yanıtı:**
{response}
**Ölçek Tanımları:**
{json.dumps(rubric, indent=2)}
Her kriter için 1-5 arası bir puan ve kısa bir gerekçe sağlayın.
Sonucu JSON formatında döndürün.
"""
# Hipotetik bir LLM API çağrısı
# result = llm_client.generate(evaluation_prompt, response_format="json_object")
# Tanıtım için örnek sabit kodlanmış çıktı
return {
"accuracy": {"score": 5, "reason": "Çözüm, kök nedeni doğru bir şekilde belirler."},
"tone": {"score": 3, "reason": "Ton profesyonel ancak günlük bir sorgu için biraz fazla resmi."},
"brevity": {"score": 4, "reason": "Özlü, ancak giriş daha kısa olabilirdi."}
}
# Örnek Ölçek Tanımı
sample_rubric = {
"accuracy": {
"description": "Bilginin fiilî doğruluğu.",
"levels": {
"1": "Ciddi fiilî hatalar",
"5": "Tamamen doğru"
}
},
"tone": {
"description": "Ses ve stilin uygunluğu.",
"levels": {
"1": "Kırmızı veya uygunsuz",
"5": "Bağlama mükemmel uyum"
}
}
}
İnsan ve YZ Yargıçlarını Kalibre Etme
Ölçek tasarımındaki en kritik adımlardan biri kalibrasyondur. Otomatik değerlendirmeyi devreye almadan önce, küçük bir insan uzmanı örnekleminin, çıktıların bir alt kümesini aynı ölçeği kullanarak puanlaması gerekir. Bu, bir gerçeklik temelini (ground truth) oluşturur. Otomatik LLM yargıcı, insan puanlamalarından önemli ölçüde sapıyorsa, ölçek tanımları muhtemelen belirsizdir ve değerlendirme istemi iyileştirilmeye ihtiyaç duyar. Tutarlılık anahtardır; iki değerlendirici "Ton: 3"ü farklı yorumluyorsa, verileriniz tehlikeye girer.
Sonuç
İkili puanlamaların ötesine geçmek, LLM değerlendirmesini bir tahmin oyunundan bilimsel bir disipline dönüştürür. Kapsamlı, çok boyutlu ölçekler tasarlayarak, modelinizin nerede başarılı veya başarısız olduğunu tam olarak belirlemek için gereken ayrıntıya sahip olursunuz. Bu veri, daha etkili istem mühendisliği, RAG optimizasyonları ve ince ayar stratejilerini yönlendirir ve nihayetinde öznel bağlamlarda sadece "iyi" değil, güvenilir şekilde mükemmel olan LLM uygulamalarına yol açar. 3-4 ana boyuttan küçük başlayın, insan uzmanlarla kalibre edin ve kullanıcı ihtiyaçlarınıza ilişkin anlayışınız evrildikçe ölçek tanımlarınızı tekrarlayın.