Technical Tutorials

در روزهای اولیه پذیرش مدل‌های زبانی بزرگ (LLM)، مهندسی پرامپت بیشتر شبیه به یک هنر بود. توسعه‌دهندگان ساعت‌ها وقت صرف تنظیم دستی دستورات سیستم، مثال‌های چند نمونه‌ای (few-shot) و تنظیمات دما می‌کردند به امید اینکه بتوانند خروجی‌های بهتری دریافت کنند. اگرچه شهود هنوز نقش خود را دارد، اما صنعت به سرعت به سمت رویکردی دقیق‌تر و داده‌محور در حال حرکت است: بهینه‌سازی خودکار پرامپت (APO). با رفتار کردن با پرامپت‌ها به عنوان کد و اعمال اصول مهندسی نرم‌افزار—به‌ویژه آزمایش A/B و ارزیابی دقیق معیارها—می‌توانیم عملکرد LLM را در هزاران مورد استفاده مقیاس‌بندی کنیم.

از تنظیمات دستی به آزمایش‌های سیستماتیک

چالش اصلی در مقیاس‌بندی LLMها، غیرقطعی بودن (non-determinism) آن‌هاست. پرامپتی که برای یک پرسش کاربر به‌خوبی کار می‌کند، ممکن است برای پرسش دیگری شکست بخورد. بهینه‌سازی دستی مقیاس‌پذیر نیست، زیرا برای یک مهندس واحد غیرممکن است که هر تغییر را با هر حالت حاشیه‌ای (edge case) آزمایش کند. در عوض، ما به یک پایپلاین نیاز داریم که به‌طور خودکار تغییرات را تولید کند، آن‌ها را در برابر یک مجموعه آزمایشی اجرا کند و برنده را بر اساس معیارهای کمی انتخاب نماید.

این فرآیند شبیه به آزمایش A/B کلاسیک در توسعه محصول است. در زمینه LLMها، ما فقط دکمه‌های رابط کاربری را آزمایش نمی‌کنیم؛ بلکه ساختار معنایی دستوراتی را که به مدل داده می‌شود، آزمایش می‌کنیم. ممکن است عبارت‌بندی یک پرامپت سیستمی را تغییر دهیم، تعداد مثال‌های چند نمونه‌ای را کم یا زیاد کنیم، یا محدودیت‌های قالب خروجی را تغییر دهیم. هدف این است که مشخص کنیم کدام پیکربندی بالاترین قابلیت اطمینان و دقت را ارائه می‌دهد.

تعریف معیارهای ارزیابی قوی

برای بهینه‌سازی مؤثر پرامپت‌ها، باید ابتدا تعریف کنید که «موفقیت» چه شکلی به نظر می‌رسد. احساسات ذهنی نسبت به کیفیت برای خودکارسازی کافی نیست. شما به معیارهایی نیاز دارید که بتوان آن‌ها را به صورت برنامه‌نویسی محاسبه کرد. دسته‌های رایج عبارتند از:

تطابق دقیق (Exact Match): آیا مدل خروجی دقیقاً همان رشته مورد انتظار را تولید کرد؟ این مورد برای وظایف طبقه‌بندی ساده مفید است.
فاصله لوانشتاین (Levenshtein Distance): متن تولید شده چقدر به حقیقت زمینی (ground truth) نزدیک است؟ این معیار برای وظایف خلاصه‌سازی مناسب است، جایی که کلمات دقیق اهمیت حیاتی ندارند.
LLM به عنوان داور: استفاده از یک LLM ثانویه با قابلیت بالا برای امتیازدهی به کیفیت خروجی LLM اول بر اساس یک چک‌لیست. این استاندارد طلایی برای وظایف استدلال پیچیده است.
تأخیر و هزینه: معیارهای کارایی. یک پرامپت که کمی کمتر دقیق است اما ۱۰ برابر سریع‌تر اجرا می‌شود، ممکن است انتخاب تجاری بهتری باشد.

سناریویی را در نظر بگیرید که در آن یک ربات پشتیبانی مشتری می‌سازید. می‌خواهید ارزیابی کنید که ربات چقدر خوب به سوالات فنی پاسخ می‌دهد. می‌توانید یک مجموعه داده حقیقت زمینی از جفت‌های سوال و پاسخ ایجاد کنید و تغییرات پرامپت خود را از میان آن‌ها اجرا نمایید.

پیاده‌سازی حلقه آزمایش A/B با پایتون

بیایید یک مثال عملی با استفاده از پایتون و API اوپن‌ای‌آی (OpenAI) برای شبیه‌سازی یک آزمایش A/B بررسی کنیم. ما دو پرامپت سیستمی متفاوت را برای یک وظیفه تحلیل احساسات مقایسه کرده و آن‌ها را با استفاده از یک امتیاز شباهت مبتنی بر توکن ساده ارزیابی می‌کنیم.

import openai
from difflib import SequenceMatcher

# Configuration for our two prompt variants
PROMPT_A = """You are a helpful assistant. Classify the sentiment of the following text as positive, negative, or neutral."""
PROMPT_B = """Act as an expert linguist. Analyze the emotional tone of the user input. Provide the classification strictly as 'positive', 'negative', or 'neutral'."""

TEST_DATA = [
    ("I absolutely love this product!", "positive"),
    ("It broke after one day.", "negative"),
    ("It is a nice color.", "neutral")
]

def get_llm_output(prompt, input_text):
    response = openai.chat.completions.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "system", "content": prompt}, {"role": "user", "content": input_text}]
    )
    return response.choices[0].message.content.strip()

def calculate_similarity(output, expected):
    return SequenceMatcher(None, output.lower(), expected.lower()).ratio()

# Run A/B Test
results_a = []
results_b = []

for query, expected in TEST_DATA:
    res_a = get_llm_output(PROMPT_A, query)
    res_b = get_llm_output(PROMPT_B, query)
    
    results_a.append(calculate_similarity(res_a, expected))
    results_b.append(calculate_similarity(res_b, expected))

avg_score_a = sum(results_a) / len(results_a)
avg_score_b = sum(results_b) / len(results_b)

print(f"Prompt A Average Accuracy: {avg_score_a:.2%}")
print(f"Prompt B Average Accuracy: {avg_score_b:.2%}")

if avg_score_b > avg_score_a:
    print("Winner: Prompt B (Role-playing + Constraints)")
else:
    print("Winner: Prompt A (Simple Instructions)")

در کد بالا، پرامپت B با افزودن یک شخصیت («زبان‌شناس متخصص») و محدودیت‌های صریح («دقیقاً به صورت...») عملکرد بهتری نسبت به پرامپت A دارد. این نشان می‌دهد که چگونه تغییرات ساختاری کوچک می‌توانند تأثیرات قابل اندازه‌گیری بر کیفیت خروجی داشته باشند.

مقیاس‌بندی با اصلاح تکراری

پس از ایجاد یک خط پایه، بهینه‌سازی خودکار پرامپت امکان اصلاح تکراری را فراهم می‌کند. می‌توانید از الگوریتم‌های ژنتیکی برای تکامل پرامپت‌ها استفاده کنید، جایی که پرامپت‌های «سالم‌تر» (آن‌هایی که بالاترین امتیاز معیار را دارند) ترکیب و جهش داده می‌شوند تا کاندیداهای جدیدی ایجاد کنند. این رویکرد سوگیری انسانی را حذف می‌کند و اغلب ساختارهای پرامپت غیرشهودی را کشف می‌کند که مهندسان انسانی ممکن است نادیده بگیرند.

با این حال، مقیاس‌بندی با مسئولیت‌هایی همراه است. با افزایش حجم تماس‌های API برای آزمایش، هزینه‌ها و تأخیر افزایش می‌یابد. بسیار مهم است که مکانیزم‌های کش را برای ورودی‌های یکسان پیاده‌سازی کنید و تغییرات کم‌عملکرد را به سرعت حذف نمایید. علاوه بر این، همیشه یک نقطه توقف «انسان در حلقه» (human-in-the-loop) را برای کاربردهای حیاتی حفظ کنید و از آزمایش‌های خودکار به عنوان یک فیلتر به جای نگهبان نهایی استفاده نمایید.

نتیجه‌گیری

بهینه‌سازی خودکار پرامپت، مهندسی پرامپت را از یک مهارت ایستا به یک رشته مهندسی پویا تبدیل می‌کند. با بهره‌گیری از آزمایش A/B و معیارهای دقیق، توسعه‌دهندگان می‌توانند اطمینان حاصل کنند که برنامه‌های LLM آن‌ها نه تنها عملکردی دارند، بلکه برای دقت، هزینه و قابلیت اطمینان در مقیاس بهینه شده‌اند. آینده توسعه هوش مصنوعی متعلق به کسانی است که می‌توانند پرامپت‌های خود را به همان دقتی که کد خود را اندازه‌گیری می‌کنند، اندازه‌گیری کنند.