Technical Tutorials

مع تطور نماذج اللغة الكبيرة (LLMs)، لم تعد مقصورة على النص. لقد فتحت النماذج متعددة الوسائط مثل GPT-4V وLLaVA وGemini Pro آفاقاً جديدة، مما يتيح للذكاء الاصطناعي تفسير الصور والمخططات ولقطات الشاشة. ومع ذلك، فإن تقييم هذه النماذج أكثر تعقيداً بكثير من توليد النص القياسي. لا يمكنك ببساطة استخدام درجات BLEU أو مطابقة السلاسل الأساسية. تحتاج إلى أدوات مراقبة مخصصة وقوية لضمان موثوقية ودقة تطبيقاتك متعددة الوسائط.

في هذا الدليل، سنستكشف كيف يمكن الاستفادة من Braintrust، وهو منصة رائدة لمراقبة وتقييم الذكاء الاصطناعي، لتقييم نماذج الرؤية واللغة (VLMs) باستخدام مقاييس مخصصة. سنركز على إنشاء معايير تقييم محددة لمهام الرؤية، مثل دقة كشف الكائنات وجودة التسميات التوضيحية، لضمان أن نشرتك مبنية على بيانات أداء واقعية.

لماذا تفشل المقاييس القياسية مع نماذج الرؤية واللغة

مقاييس NLP التقليدية مثل Perplexity أو ROUGE مصممة لمهام النص إلى النص. عند إدخال البيانات المرئية، يصبح فضاء الإدخال واسعاً ومبهماً. على سبيل المثال، قد يحدد النموذج كائناً بشكل صحيح لكنه يفشل في وصف علاقته المكانية بكائن آخر. القيمة المنطقية البسيطة "صحيح" أو "خطأ" غير كافية.

يتيح Braintrust للمطورين تعريف مقاييس مخصصة تتماشى مع منطق العمل المحدد. هذا أمر بالغ الأهمية لنماذج الرؤية واللغة لأن "صحة" المخرجات تعتمد غالباً على سياق الصورة. من خلال استخدام Braintrust، يمكنك تسجيل كل من مدخلات الصورة ومخرجات النص للنموذج، ثم تطبيق دوال تقييم مخصصة لتقييم الفروق الدقيقة التي تفوتها معايير الاختبار القياسية.

إعداد المقاييس المخصصة في Braintrust

تجعل واجهة برمجة تطبيقات Braintrust من السهل تعريف المقيمين المخصصين. يمكنك كتابة دوال Python تأخذ الصورة المدخلة، والحقيقة المعروفة (إن كانت متاحة)، ومخرجات النموذج، وتعيد درجة منظمة. دعنا ننظر إلى مثال عملي: تقييم قدرة نموذج الرؤية واللغة على عد الكائنات في صورة.


import braintrust
from PIL import Image
import re

def count_accuracy(input, output, ground_truth):
    """
    مقياس مخصص لتقييم ما إذا كان النموذج قد عد الكائنات بشكل صحيح.
    
    Args:
    input: كائن الصورة الأصلي.
    output: استجابة النص من نموذج الرؤية واللغة.
    ground_truth: العدد المعروف للكائنات (مثلاً، 5).
    
    Returns:
    قاموس يحتوي على 'score' و'reasoning'.
    """
    # استخراج أول عدد صحيح موجود في مخرجات النموذج
    match = re.search(r'\d+', output)
    if not match:
        return {
            'score': 0,
            'reasoning': 'لم يتم العثور على رقم في المخرجات.'
        }
    
    predicted_count = int(match.group())
    
    if predicted_count == ground_truth:
        return {
            'score': 1,
            'reasoning': f'تم تحديد {predicted_count} كائنات بشكل صحيح.'
        }
    else:
        # هل نمنح نقاطاً جزئية إذا كانت قريبة؟ أم 0 فقط للصرامة؟
        # هنا نستخدم 0/1 صارم، لكن يمكنك استخدام 1 - abs(diff)/max
        return {
            'score': 0,
            'reasoning': f'توقع النموذج {predicted_count}، بينما المتوقع {ground_truth}.'
        }

# تسجيل المقياس المخصص
braintrust.log(
    'VLM_Count_Test',
    metrics={
        'count_accuracy': count_accuracy
    }
)

تنفيذ سير عمل التقييم

بمجرد تعريف مقياسك المخصص، يمكنك تشغيل التقييم عبر مجموعة بيانات من الصور. يتتبع Braintrust تلقائياً التكلفة وزمن الاستجابة واستهلاك الرموز لكل طلب، مما يمنحك رؤية شاملة لأداء نموذج الرؤية واللغة الخاص بك. إليك كيفية هيكلة تشغيل التقييم:


import base64

def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode('utf-8')

# هيكل مجموعة البيانات النموذجية
dataset = [
    {
        "input": {
            "image": "path/to/dogs.jpg",
            "prompt": "كم عدد الكلاب في هذه الصورة؟"
        },
        "expected": 3
    },
    {
        "input": {
            "image": "path/to/cats.png",
            "prompt": "كم عدد القطط في هذه الصورة؟"
        },
        "expected": 1
    }
]

def model_call(input):
    # نفترض أن لديك نقطة نهاية لنموذج رؤية ولغة متوافق مع OpenAI
    image_b64 = encode_image(input['image'])
    
    response = openai.chat.completions.create(
        model="gpt-4-vision-preview",
        messages=[
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": input['prompt']},
                    {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image_b64}"}},
                ],
            }
        ],
    )
    return response.choices[0].message.content

# تشغيل التقييم
braintrust.run(
    "VLM_Count_Eval",
    tasks=dataset,
    model=model_call,
    metrics={
        'count_accuracy': count_accuracy,
        'latency': braintrust.latency,
        'cost': braintrust.cost
    }
)

تصور النتائج والتكرار

بعد تشغيل التقييم، سيعرض لوحة تحكم Braintrust مقياس count_accuracy المخصص بجانب التكلفة وزمن الاستجابة. يمكنك تصفية النتائج لمعرفة أنواع الصور التي يعجز النموذج عن التعامل معها. ربما يكون أداءه جيداً في الصور الاستوديو الواضحة لكنه يفشل في مشاهد الشوارع الواقعية المزدحمة. هذا الإدراك الدقيق لا يقدر بثمن لتحسين هندسة الأوامر أو ضبط النموذج الخاص بك.

الخلاصة

يتطلب تقييم نماذج الرؤية واللغة تجاوز مقاييس NLP العامة. من خلال الاستفادة من نظام المقاييس المخصصة المرن في Braintrust، يمكن للمطورين إنشاء خطوط أنابيب تقييم محددة لحالتهم الاستخدام. سواء كنت تعد الكائنات، أو تستخرج النص من لقطات الشاشة، أو تفسر الصور الطبية، توفر المقاييس المخصصة الدقة اللازمة لثقة ذكاءك الاصطناعي في الإنتاج. ابدأ بتحديد معايير نجاحك، وبرمج المقيم المخصص، ودع البيانات توجه تحسيناتك.