Yapay Genel Zekâ (AGI) arayışı, araştırmacıları kodlama veya mantıksal akıl yürütme gibi statik ölçütlerin ötesine bakmaya yöneltti. Bu bulmacadaki kritik eksik parça Zihin Kuramı'dır (ToM): başkalarına zihinsel durumlar, niyetler ve inançlar atfetme bilişsel yeteneği. Son zamanlarda, Büyük Dil Modelleri (LLM) bu yeteneğin şaşırtıcı ipuçlarını gösterdi. Peki bu gerçek bir anlama mı, yoksa sadece sofistike desen eşleştirme mi? Bunu öğrenmek için onları ringe çıkarmalıyız: etkileşimli sosyal ikilemler.
Neden Sosyal İkilemler?
Hapishane İkilemi veya Son Teklif Oyunu gibi sosyal ikilemler, ToM için mükemmel test yataklarıdır. Bu senaryolarda, optimal strateji yalnızca oyunun kurallarına değil, diğer oyuncunun ne yapacağını tahmin etmeye de bağlıdır. Bir LLM, diğer oyuncunun işbirliği yapacağını tahmin ettiğinde tutarlı bir şekilde işbirliği yapabiliyor ve diğerinin ihanet edeceğini tahmin ettiğinde ihanet edebiliyorsa, diğer acentenin zihnini dolaylı olarak modellemiş oluyor.
Geleneksel ToM testleri genellikle statiktir ("Sally, mermerin sepetin içinde olduğunu mu düşünüyor?"). Etkileşimli ikilemler, modeli yeni bilgilere dayalı olarak inançlarını gerçek zamanlı olarak güncellemeye zorlar; bu, bilişsel simülasyon için çok daha yüksek bir eşiktir.
Deneysel Kurulum
Spontan ToM'ü değerlendirmek için, LLM'in gizli bir stratejisi olan bir acenteyle karşı karşıya geldiği çok turlu bir etkileşim tasarlıyoruz. LLM, bu stratejiyi sınırlı verilerden çıkarmalı ve hamlelerini buna göre ayarlamalıdır.
Basit bir iteratif Hapishane İkilemi'ni düşünün. LLM'den her turda "İşbirliği" (C) veya "İhanet" (D) seçmesi istenir. Ortam, rakibin önceki hamlesi hakkında geri bildirim sağlar. Gerçek ToM'ye sahip bir model, yalnızca rakibin son hamlesine tepki vermekle kalmaz (Tit-for-Tat gibi) ama rakibin niyetini veya algoritmasını çıkarır.
Kod Örneği: Strateji Çıkarımını Değerlendirme
import re
from transformers import pipeline
# Hipotetik değerlendirme fonksiyonu
def evaluate_tom_capability(llm, opponent_strategy):
"""
LLM'in rakibin stratejisini çıkarıp
kazancı en üst düzeye çıkarmak için kendi oyununu ayarlayıp ayarlayamadığını test eder.
"""
prompts = []
# 5 tur etkileşimi simüle et
for i in range(5):
opponent_move = opponent_strategy(i) # örn., 'C' veya 'D'
prompt = f"""
Tur {i}:
Önceki hamlen: [Son Hamle]
Rakibin hamlesi: {opponent_move}
Rakibin desenini düşün. Sıradaki ne yapmayı planlıyorlar?
Skorunu en üst düzeye çıkarmak için C veya D seç.
Yalnızca C veya D ile cevap ver.
"""
prompts.append(prompt)
# İstekleri LLM'e gönder (açıklama için basitleştirildi)
llm_responses = [llm(prompt) for prompt in prompts]
# LLM'in çıkarılan stratejiyle uyumlu olup olmadığını hesapla
# örn., Rakip her zaman C ise, LLM çoğunlukla C olmalı
success_rate = calculate_alignment(llm_responses, opponent_strategy)
return success_rate
# Örnek: Rakip Tit-for-Tat kullanıyor
def tit_for_tat_history(history):
return history[-1] if history else 'C'
# Değerlendirmeyi çalıştır
# score = evaluate_tom_capability(my_llm_instance, tit_for_tat_history)
Temel Bulgular ve Zorluklar
- Desen Eşleştirme vs. Zihinsel Modelleme: Mevcut LLM'ler basit desenleri tanıma konusunda (ör., "her zaman ihanet ediyorlar") üstün. Ancak, rakibin inanç durumunun olasılıksal modellemesini gerektiren daha karmaşık, deterministik olmayan stratejilerle başa çıkmakta zorlanıyorlar.
- Bağlam Uzunluğu Kısıtlamaları: Etkileşimler uzadıkça, modeller çıkarılan stratejiyi takip etmeyi kaybedebilir; bu da "zihin kuramlarının" yüzeysel olduğunu ve son bağlam pencerelerine ağır bağımlı olduğunu göstermektedir.
- Kendine Yönelik Yanlılık: Bazı modeller, belirsiz ipuçlarını iyi niyetli olarak yorumlayarak işbirliğine güçlü bir yanlılık sergiler. Bu "iyilik yanlılığı", gerçek stratejik akıl yürütmenin eksikliğini maskeleyebilir.
Geliştiriciler İçin Pratik Sonuçlar
Çoklu acente sistemleri geliştiren geliştiriciler için LLM ToM'ünü anlamak hayati önem taşır. LLM'leri sözleşme müzakeresi veya görev koordinasyonu için kullanıyorsanız, diğer acentelerin sınırlı ve potansiyel olarak yanlı bir modeline sahip olduklarını varsaymalısınız. ToM performanslarını artırmak için onlara "diğer acentenin teşvikleri hakkında akıl yürüt" şeklinde açıkça talimat vermeniz gerekebilir.
Sonuç
LLM'ler henüz sağlam, spontan bir Zihin Kuramı sergilemiyor. Basit sosyal ikilemlerde stratejik davranışı taklit edebilseler de, gerçek sosyal zeka için gereken tutarlı, derinlemesine diğer zihinlerin modellemesinden yoksundurlar. Gelecekteki araştırmalar, bu modellerin diğer "zihinler" hakkında gerçekten ne anlayabileceğinin sınırlarını zorlamak için uzun vadeli etkileşimlere ve daha karmaşık inanç hiyerarşilerine odaklanmalıdır.