آیا مدل‌های زبانی بزرگ می‌توانند درباره‌ی تفکر، فکر کنند؟ ارزیابی نظریه ذهن خودجوش در معماهای اجتماعی

جستجو برای هوش مصنوعی عمومی (AGI) محققان را برانگیخته است تا فراتر از معیارهای سنجش ایستا مانند برنامه‌نویسی یا استدلال منطقی نگرند. یک قطعه‌ی حیاتی و گمشده در این پازل، نظریه‌ی ذهن (ToM) است: توانایی شناختی برای نسبت دادن حالت‌های ذهنی، نیت‌ها و باورها به دیگران. اخیراً، مدل‌های زبانی بزرگ (LLMs) نشانه‌های شگفت‌انگیزی از این توانایی نشان داده‌اند. اما آیا این درک واقعی است یا صرفاً تطبیق الگوهای پیشرفته؟ برای یافتن پاسخ، باید آن‌ها را در رینگ قرار دهیم: معماهای اجتماعی تعاملی.

چرا معماهای اجتماعی؟

معماهای اجتماعی، مانند معمای زندانی یا بازی آخرالزمان، بسترهای آزمایشی ایده‌آلی برای ToM هستند. در این سناریوها، استراتژی بهینه نه تنها به قوانین بازی بستگی دارد، بلکه به پیش‌بینی اینکه بازیکن دیگر چه خواهد کرد نیز وابسته است. اگر یک LLM بتواند به‌طور مداوم همکاری کند زمانی که پیش‌بینی می‌کند بازیکن دیگر نیز همکاری خواهد کرد، و خیانت کند زمانی که پیش‌بینی می‌کند بازیکن دیگر خیانت خواهد کرد، به‌طور ضمنی ذهن عامل دیگر را مدل‌سازی می‌کند.

تست‌های سنتی ToM اغلب ایستا هستند («آیا سالی فکر می‌کند گلوله در سبد است؟»). معماهای تعاملی مدل را مجبور می‌کنند که باورهای خود را بر اساس اطلاعات جدید به‌صورت بلادرنگ به‌روزرسانی کند، که یک نرده‌ی شناختی بسیار بالاتر برای شبیه‌سازی است.

تجهیزات آزمایشی

برای ارزیابی ToM خودجوش، ما یک تعامل چندگانه طراحی می‌کنیم که در آن LLM در برابر یک عامل با استراتژی پنهان بازی می‌کند. LLM باید این استراتژی را از داده‌های محدود استنباط کند و حرکات خود را به‌طور متناسب تنظیم نماید.

یک معمای زندانی تکرارشونده ساده را در نظر بگیرید. LLM تشویق می‌شود تا در هر دور «همکاری» (C) یا «خیانت» (D) را انتخاب کند. محیط بازخوردی از حرکت قبلی حریف ارائه می‌دهد. مدلی با ToM واقعی نه تنها به حرکت آخر حریف واکنش نشان نمی‌دهد (مانند Tit-for-Tat)، بلکه نیت یا الگوریتم حریف را استنباط می‌کند.

نمونه کد: ارزیابی استنباط استراتژی

import re
from transformers import pipeline

# فرضی ارزیابی تابع
def evaluate_tom_capability(llm, opponent_strategy):
    """
    تست می‌کند که آیا LLM می‌تواند استراتژی حریف را استنباط کند
    و بازی خود را برای حداکثر کردن بازده تنظیم کند.
    """
    prompts = []
    # شبیه‌سازی ۵ دور تعامل
    for i in range(5):
        opponent_move = opponent_strategy(i) # مثال: 'C' یا 'D'
        prompt = f"""
        دور {i}:
        حرکت قبلی شما: [حرکت آخر]
        حرکت حریف: {opponent_move}
        
        درباره الگوی حریف فکر کنید. آن‌ها قصد دارند بعداً چه کنند؟
        C یا D را انتخاب کنید تا امتیاز خود را حداکثر کنید.
        فقط با C یا D پاسخ دهید.
        """
        prompts.append(prompt)
    
    # ارسال پرامپت‌ها به LLM (ساده‌سازی شده برای توضیح)
    llm_responses = [llm(prompt) for prompt in prompts]
    
    # محاسبه اینکه آیا LLM با استراتژی استنباط شده همسو بوده است
    # مثال: اگر حریف همیشه C است، LLM باید عمدتاً C باشد
    success_rate = calculate_alignment(llm_responses, opponent_strategy)
    return success_rate

# مثال: حریف از Tit-for-Tat استفاده می‌کند
def tit_for_tat_history(history):
    return history[-1] if history else 'C'

# اجرای ارزیابی
# score = evaluate_tom_capability(my_llm_instance, tit_for_tat_history)

یافته‌ها و چالش‌های کلیدی

1. تطبیق الگو در مقابل ذهن‌خوانی: LLMهای فعلی در شناسایی الگوهای ساده (مثلاً: «آن‌ها همیشه خیانت می‌کنند») عالی هستند. با این حال، آن‌ها با استراتژی‌های پیچیده‌تر و غیرتعیینی که نیاز به مدل‌سازی احتمالاتی از حالت باور حریف دارند، دست‌وپنجه نرم می‌کنند.
2. محدودیت‌های طول زمینه: با طولانی‌تر شدن تعاملات، مدل‌ها ممکن است رد استراتژی استنباط شده را از دست بدهند، که نشان می‌دهد «نظریه ذهن» آن‌ها سطحی است و به‌شدت به پنجره‌های زمینه اخیر وابسته است.
3. سوگیری خود: برخی مدل‌ها نشان‌دهنده سوگیری قوی به سمت همکاری هستند و نشانه‌های مبهم را نیکوخواهانه تفسیر می‌کنند. این «سوگیری مهربانی» می‌تواند فقدان استدلال استراتژیک واقعی را پنهان کند.

پیامدهای عملی برای توسعه‌دهندگان

برای توسعه‌دهندگانی که سیستم‌های چندعاملی می‌سازند، درک ToM در LLMها حیاتی است. اگر از LLMها برای مذاکره قراردادها یا هماهنگی وظایف استفاده می‌کنید، باید فرض کنید که آن‌ها مدلی محدود و احتمالاً سوگیرانه از عوامل دیگر دارند. ممکن است نیاز باشد به‌طور صریح از آن‌ها بخواهید «درباره انگیزه‌های عامل دیگر استدلال کنند» تا عملکرد ToM آن‌ها را بهبود بخشند.

نتیجه‌گیری

LLMها هنوز نظریه ذهن قوی و خودجوش را نشان نمی‌دهند. اگرچه آن‌ها می‌توانند رفتارهای استراتژیک را در معماهای اجتماعی ساده تقلید کنند، اما از مدل‌سازی عمیق و مداوم ذهن‌های دیگر که برای هوش اجتماعی واقعی مورد نیاز است، محروم هستند. تحقیقات آینده باید بر تعاملات بلندمدت و سلسله‌مراتب باورهای پیچیده‌تر تمرکز کند تا مرزهای آنچه که این مدل‌ها واقعاً درباره «ذهن‌های» دیگر می‌توانند درک کنند را گسترش دهد.