تقييم استدلال الوكلاء: قياس المنطق متعدد الخطوات ومعدلات الهلوسة في البيئات الإنتاجية

مع تطور نماذج اللغات الكبيرة (LLMs) من روبوتات الدردشة البسيطة إلى وكلاء مستقلين قادرين على تنفيذ سير عمل معقد، تغيرت مقاييس النجاح بشكل كبير. في الأيام الأولى للذكاء الاصطناعي التوليدي، كانت الدقة في الأسئلة ذات الدوران الواحد كافية. اليوم، في البيئات الإنتاجية، يجب علينا تقييم سلسلة التفكير التي تؤدي إلى إجراء نهائي. كيف نضمن أن الوكيل لا يقوم بالتخمين فقط؟ وكيف نقيس قدرته على الحفاظ على الحالة والمنطق عبر خطوات متعددة مع تقليل الهلوسة الخطيرة؟

لم يعد تقييم استدلال الوكلاء علماً ناعماً؛ بل أصبح تخصصاً هندسياً حاسماً. يستكشف هذا المنشور المنهجيات المستخدمة لقياس سلامة المنطق متعدد الخطوات وإرساء معدلات صارمة للهلوسة في الأنظمة الإنتاجية.

تعقيد الاستدلال متعدد الخطوات

على عكس مهام الأسئلة والأجوبة البسيطة، تتضمن سير عمل الوكلاء غالباً التخطيط، واستخدام الأدوات، والتحسين التكراري. قد يحتاج الوكيل إلى استعلام قاعدة بيانات، وتحليل النتائج، وصياغة فرضية، ثم تحسين ذلك الاستعلام. يتطلب تقييم ذلك تتبع "المسار" لقرارات الوكيل، وليس فقط المخرجات النهائية.

لقياس المنطق متعدد الخطوات، يجب علينا تجاوز مطابقة السلاسل النصية البسيطة. نحن بحاجة إلى تقييم الصحة الهيكلية للخطة. على سبيل المثال، في وكيل توليد الأكواد، يكون المنطق سليماً إذا سبقت عبارات الاستيراد تعريفات الدوال، حتى لو كان هناك أخطاء طفيفة في منطق الكود نفسه. يمكننا محاكاة هذا التقييم باستخدام إطار تقييم منظم.

def evaluate_agent_trajectory(steps):
    """
    Evaluates the logical consistency of an agent's step-by-step actions.
    Returns a score based on dependency resolution and action validity.
    """
    if not steps or len(steps) == 0:
        return 0.0
    
    # Check if the first step is always 'initialize' or 'plan'
    if steps[0]['action'] != 'initialize':
        return 0.0
        
    # Validate that dependencies are met before actions
    executed_tools = set()
    for i, step in enumerate(steps[1:], 1):
        if step.get('depends_on'):
            required = step['depends_on']
            if required not in executed_tools and i > 0:
                # Logic fails if dependency wasn't executed in previous steps
                return 0.0
        
        if step.get('action_type') == 'tool_use':
            executed_tools.add(step['tool_name'])
            
    return 1.0  # Perfect logical flow

تعريف وقياس معدلات الهلوسة