الضوابط دون الاسترجاع: تقنيات متقدمة للكشف عن هلوسة نماذج اللغات الكبيرة في المهام غير المعززة بالاسترجاع

أحدثت نماذج اللغات الكبيرة (LLMs) ثورة في تطوير البرمجيات وإنشاء المحتوى، لكنها لا تزال تعاني من عيب حرج: الهلوسة. بينما يُعد الاسترجاع المعزز للتوليد (RAG) المعيار الصناعي لتأصيل الإجابات في البيانات الواقعية، فإن العديد من المهام التوليدية—مثل الكتابة الإبداعية، أو توليد الكود، أو الاستدلال المنطقي—تعمل في مساحات مفتوحة حيث يكون الاسترجاع الخارجي إما غير عملي أو مستحيلاً. في هذه السيناريوهات غير المعززة بالاسترجاع (Non-RAG)، كيف يمكن للمطورين ضمان موثوقية مخرجات النموذج؟ يستكشف هذا المنشور تقنيات معمارية قوية للكشف عن الهلوسة وتخفيفها دون الاعتماد على قواعد البيانات المتجهة.

تحدي هلوسة المهام غير المعززة بالاسترجاع

في أنظمة RAG، غالباً ما تكون الهلوسة ناتجة عن فشل في الاسترجاع أو عدم تطابق بين السياق والتوليد. ومع ذلك، في المهام غير المعززة بالاسترجاع، تنبع الهلوسة من الطبيعة الاحتمالية للنموذج التي تحاول مطابقة نمط غير موجود. سواء أكان النموذج يخترع واجهة برمجة تطبيقات (API) لمكتبة ما، أو يفتعل تاريخاً تاريخياً، فإن عدم وجود مرجع خارجي للحقيقة يجعل التحقق صعباً. يفشل مطابقة الكلمات الرئيسية التقليدية هنا لأن المخرجات غالباً ما تكون صحيحة نحوياً لكنها خاطئة دلاليًا. لذلك، نحتاج إلى طرق تستفيد من قدرات النموذج في الاستدلال أو مدققي الهيكل الخارجي.

التقنية 1: الاتساق الذاتي والتحقق من سلسلة التفكير

إحدى أكثر الاستراتيجيات فعالية من حيث التكلفة هي "الاتساق الذاتي". بدلاً من قبول المخرج الأول، نطلب من النموذج توليد مسارات استدلال متعددة. إذا انحرفت الإجابة النهائية بشكل كبير عبر سلاسل التفكير المختلفة، فإن ذلك يشير بقوة إلى وجود هلوسة. تستفيد هذه التقنية من حقيقة أنه بينما قد تنزلق مسار واحد إلى كذب معقول، فإن الخطوات المنطقية المتسقة عبر عينات متعددة أصعب في التزوير.

إليك مثال بلغة Python باستخدام مكتبة openai لتنفيذ الاتساق الذاتي الأساسي:

import openai

def check_consistency(prompt, n=5):
    responses = []
    for _ in range(n):
        # فرض التفكير خطوة بخطوة
        response = openai.ChatCompletion.create(
            model="gpt-4",
            messages=[
                {"role": "system", "content": "فكر خطوة بخطوة."},
                {"role": "user", "content": prompt}
            ],
            temperature=0.7 # درجة حرارة أعلى للتنوع
        )
        responses.append(response.choices[0].message.content)
    
    # فحص بسيط: إذا لم تكن جميع الاستجابات متطابقة، يتم وضع علامة للمراجعة
    if len(set(responses)) > 1:
        return {"status": "inconsistent", "variants": responses}
    return {"status": "consistent", "answer": responses[0]}

التقنية 2: التوجيه العدائي للتحقق من الحقائق

تتضمن تقنية قوية عملية من خطوتين: التوليد يليه التحقق. في الخطوة الأولى، يقوم النموذج بتوليد المحتوى. في الخطوة الثانية، تطلب من نسخة منفصلة (أو نفس النسخة بدور مختلف) انتقاد المخرج مقابل القيود المعروفة أو المعرفة العامة. يُشار إلى هذا غالباً بتقييم "نموذج القاضي".

على سبيل المثال، عند توليد الكود، لا تطلب الكود فحسب. بل تطلب من النموذج أيضاً إخراج حالة اختبار يجب أن تفشل إذا كان الكود هلوسياً. إذا كانت حالة الاختبار غير صالحة أو يتناقض الشرح مع الكود، فإنك تضع علامة عليه.

# قالب طلب التحقق
verification_prompt = """
حلل مقتطف الكود التالي من حيث الاتساق المنطقي والهلوسة المحتملة لمكتبات خارجية.
الكود:
{generated_code}

المهمة: 
1. حدد ما إذا كانت أي مكتبات مستوردة غير موجودة.
2. تحقق مما إذا كانت التواقيع الوظيفية تتطابق مع توثيق المكتبة القياسية.
3. أخرج ملف JSON يحتوي على درجة 'hallucination_risk' (0-1).
"""

التقنية 3: فحوصات التشابه بالتضمين الدلالي

عندما يكون التحقق المباشر من الحقائق مستحيلاً، يمكننا استخدام التضمينات الدلالية لقياس مدى "قرب" المخرج المولد من حقيقة أرضية معروفة أو مجموعة من وثائق المرجع الموثوقة. بينما يبدو هذا وكأنه RAG، في المهام غير المعززة بالاسترجاع، يمكننا استخدام مجموعة صغيرة ومختارة بعناية من أمثلة "المعيار الذهبي" ذات الصلة بالمجال. من خلال حساب التشابه جيب التمام بين المخرج المولد وهذه المراجع، يمكننا اكتشاف القيم الشاذة. إذا انحرف المولد بشكل كبير عن العنقود الدلالي للإجابات الجيدة المعروفة، فقد يكون هلوسياً.

الخاتمة

يتطلب الكشف عن الهلوسة في المهام التوليدية غير المعتمدة على الاسترجاع تحولاً من التحقق البسيط إلى التحقق الهيكلي والمنطقي. من خلال الجمع بين فحوصات الاتساق الذاتي، والنقد العدائي، ومقاييس التشابه الدلالي، يمكن للمطورين بناء أنظمة ذكاء اصطناعي أكثر مرونة. لا تقضي هذه التقنيات على الهلوسة تماماً، لكنها توفر الضوابط اللازمة لضمان بقاء النماذج أدوات موثوقة بدلاً من كونها مسؤوليات إبداعية. مع تطور مشهد الذكاء الاصطناعي التوليدي، ستصبح استراتيجيات التقييم هذه حاسمة بقدر أهمية النماذج نفسها.