Technical Tutorials

Hızla gelişen Büyük Dil Modeli (LLM) uygulamaları dünyasında, promptlarınızın kalitesi ürününüzün kalitesini doğrudan belirler. Ancak, mantığı deterministik olan geleneksel yazılımlardan farklı olarak LLM çıktıları olasılıksaldır. Bu belirsizlik kritik bir zorluk ortaya çıkarır: Bir promptun güvenilir şekilde çalıştığını nasıl anlarsınız? Cevap, sağlam bir Prompt Test Etme stratejisidir.

Çok fazla geliştirici, prompt mühendisliğini bir sanat formu olarak görüyor ve sezgilere ile manuel spot kontrollerine güveniyor. Yaratıcılık elbette önemlidir, ancak profesyonellik mühendislik titizliği gerektirir. Sistematik test olmadan, "prompt sapması"na yatkın olursunuz; bu da model davranışlarındaki ince değişiklikler, API güncellemeleri veya küçük ayarlamalar nedeniyle daha önce çalışan promptların üretim ortamında sessizce başarısız olmasına neden olur.

Neden Prompt Test Etme Önemlidir?

Promptlarınızı yapay zeka özelliğinizin çekirdek iş mantığı olarak düşünün. Bu mantık değişirse veya bozulursa, uygulamanız bozulur. Prompt test etme şunları sağlar:

Regresyon Güvenliği: Uygulamanızın bir bölümündeki değişikliklerin, ilgili olmayan promptları yanlışlıkla bozmasını önler.
Performans Metrikleri: Doğruluğu, gecikmeyi ve maliyeti nicel olarak ölçerek veri odaklı optimizasyona olanak tanır.
İş Birliği Standartları: Geliştiricilerin, veri bilimcilerin ve ürün yöneticilerinin beklenen davranış konusunda uzlaşması için ortak bir terminoloji ve test vakaları sağlar.

Bir Prompt Test Vakanın Anatomisi

Geçerli bir prompt test vakanın üç ana bileşeni vardır: Girdi (kullanıcı sorgusu veya bağlam), Prompt Şablonu (sistem talimatları ve değişkenler) ve Beklenen Sonuç (çıktı hakkındaki iddialar).

Python veya Java'daki birim testlerin aksine, LLM'ler deterministik olmadığından nadiren tam eşleşen dize iddiaları kullanırsınız. Bunun yerine, bulanık iddiaları veya LLM-jüri kalıplarını kullanırsınız.

1. Deterministik İddialar

JSON gibi yapılandırılmış çıktılar için şemayı ve belirli alanları doğrulayabilirsiniz.

import json

def test_extract_invoice_data():
    prompt = "Extract the total amount from: {invoice_text}"
    invoice_text = "Invoice #1234: Total Due: $5,000.00"
    response = run_llm(prompt, invoice_text=invoice_text)
    
    # Parse the response as JSON
    try:
        data = json.loads(response)
    except json.JSONDecodeError:
        raise AssertionError("Output was not valid JSON")
        
    # Assert specific values
    assert data['currency'] == 'USD'
    assert data['total_amount'] == 5000.00
    assert 'error' not in data

2. LLM-jüri (Bulanık İddialar)

Doğal dil çıktılarında, yanıtı bir kriterlere göre değerlendirmek için başka bir LLM kullanın. Bu, yaratıcı veya karmaşık görevler için genellikle en pratik yaklaşımdır.

def judge_response(actual_response, expected_criteria):
    """
    Uses an LLM to evaluate if the response meets the criteria.
    """
    judge_prompt = f"""
    You are an impartial judge. Evaluate the following response based on the criteria.
    
    Criteria: {expected_criteria}
    Response: {actual_response}
    
    Return "PASS" if the response fully meets the criteria, otherwise "FAIL" with a brief reason.
    """
    judge_response = run_llm(judge_prompt, model="gpt-4-turbo")
    return "PASS" in judge_response

Test Stratejisi İçin En İyi Uygulamalar

Küçük Başlayın, Hızlı Büyüyün: Mutlu yolları ve yaygın kenar durumlarını kapsayan 5-10 yüksek değerli test vakasıyla başlayın. İlk günden itibaren %100 kapsama oranını hedeflemeyin.
Test Ortamınızı İzole Edin: Sahte veriler veya sabit veri setleri kullanın. Sıkı bir şekilde temizlenmedikçe canlı üretim kullanıcı verileriyle test yapmaktan kaçının.
Promptlarınızı Versiyon Kontrolünde Tutun: Promptları kod gibi ele alın. Onları versiyon kontrolünde (Git) saklayın ve her sürümü ilgili test setine bağlayın.
Üretimde İzleyin: CI/CD'de test yapmak yeterli değildir. Test setinizin kaçırabileceği gerçek dünya hatalarını yakalamak için üretimde gölge test veya günlük kaydı uygulayın.

Testleri CI/CD'ye Entegre Etme

Prompt testlerinizi otomatikleştirin ve her çekme isteğinde (pull request) çalışsınlar. Bir geliştirici bir prompt şablonunu değiştirirse, boru hattı (pipeline) ilgili test setini otomatik olarak çalıştırmalıdır. Herhangi bir test başarısız olursa, derleme (build) bozulmalı ve kötü promptların üretime ulaşması engellenmelidir.

# Example GitHub Actions snippet
name: Prompt Regression Tests

on: [pull_request]

jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      - name: Set up Python
        uses: actions/setup-python@v4
        with:
          python-version: '3.9'
      - name: Install dependencies
        run: pip install -r requirements.txt
      - name: Run prompt tests
        run: pytest tests/test_prompts.py -v
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}

Sonuç

Prompt test etme isteğe bağlı değildir; ölçeklenebilir ve güvenilir yapay zeka uygulamalarının temelidir. Promptları test edilebilir kod artefaktları olarak ele alarak, LLM geliştirmesini bir tahmin oyunundan disiplinli bir mühendislik pratiğine dönüştürürsünüz. Test setinizi bugün oluşturmaya başlayın. Gelecekteki benliğiniz ve kullanıcılarınız, yapay zeka ürünlerinize getirdiği istikrar ve öngörülebilirlik için size teşekkür edeceklerdir.