Technical Tutorials

Mistral gibi Büyük Dil Modellerini (LLM) üretim uygulamalarına entegre etmek, yalnızca istek gönderip yanıt almakten daha fazlasını gerektirir. Geliştiriciler sağlam hata yönetimi uygulamalı, hız sınırlarını zarifçe yönetmeli ve model kalitesinden ödün vermeden maliyetleri optimize etmelidir. Bu rehber, Mistral AI API'si için dayanıklı bir entegrasyon katmanı oluşturmanın kapsamlı bir teknik genel bakışını sağlar.

Dayanıklı Hata Yönetimi ve Yeniden Deneme Mantığı

Ağ istikrarsızlığı ve API zaman aşımı, dağıtık sistemlerde kaçınılmazdır. Üretim seviyesinde bir entegrasyon, geçici hataları (yeniden denenmesi mümkün olanlar) ve kalıcı hataları (hemen sonlandırılması gerekenler) ayırt edebilmelidir. Mistral API'si için belirli HTTP durum kodları farklı başarısızlık modlarını gösterir:

429 Çok Fazla İstek: Hız sınırının aşıldığını gösterir. Üstel geri çekilme (exponential backoff) gerektirir.
5xx Sunucu Hataları: Geçici arka uç sorunları. Yeniden denemek güvenlidir.
4xx İstemci Hataları: Genellikle kalıcıdır (örn. geçersiz API anahtarı, hatalı istek formatı). Yeniden denenmemelidir.

Aşağıda, urllib3 yeniden deneme politikasını kullanarak yeniden deneme stratejisiyle requests kütüphanesini kullanan bir Python uygulaması bulunmaktadır.

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

def create_mistral_session(api_key):
    """Sağlam yeniden deneme mantığıyla bir oturum oluşturur."""
    session = requests.Session()
    
    # Yeniden deneme stratejisini yapılandır
    retry_strategy = Retry(
        total=3,
        backoff_factor=1,
        status_forcelist=[429, 500, 502, 503, 504],
        allowed_methods=["POST"]
    )
    
    adapter = HTTPAdapter(max_retries=retry_strategy)
    session.mount("https://", adapter)
    
    session.headers.update({
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json"
    })
    
    return session

def call_mistral(session, model, prompt):
    """Hata yönetimi ile Mistral AI'ya istek gönderir."""
    payload = {
        "model": model,
        "messages": [{"role": "user", "content": prompt}],
        "temperature": 0.7
    }
    
    try:
        response = session.post(
            "https://api.mistral.ai/v1/chat/completions",
            json=payload
        )
        response.raise_for_status()
        return response.json()
    except requests.exceptions.HTTPError as http_err:
        # Belirli HTTP hatalarını işle
        if response.status_code == 429:
            print("Hız sınırına ulaşıldı. Geri çekiliyor...")
        else:
            print(f"HTTP hatası oluştu: {http_err}")
    except Exception as err:
        print(f"Bir hata oluştu: {err}")
        
    return None

Hız Sınırlamanın Uygulanması

Yalnızca sunucu tarafı 429 yanıtlarına güvenmek verimsizdir çünkü bu, yeniden denemeleri boşa harcar. İstemci tarafında hız sınırlama uygulamak, katmanınızın sınırları içinde proaktif olarak kalmanızı sağlar. Paylaşılan bir katmanda iseniz, istek hızları sınırlanır. Özel bir uç noktanız varsa, sınırlar daha yüksektir ancak yine de mevcuttur.

Eşzamanlı istekleri sınırlamak için bir yarıçubuk (semaphore) veya çıktı hızını kısıtlamak için bir token kova algoritması kullanabiliriz. İşte Python kullanan basit bir dekoratör yaklaşımı:

import time
import functools

def rate_limiter(max_calls_per_minute=60):
    """Basit bir hız sınırlayıcı dekoratör."""
    def decorator(func):
        calls = []
        
        @functools.wraps(func)
        def wrapper(*args, **kwargs):
            now = time.time()
            # 60 saniyeden eski çağrıları kaldır
            calls[:] = [call for call in calls if now - call < 60]
            
            if len(calls) >= max_calls_per_minute:
                wait_time = 60 - (now - calls[0])
                if wait_time > 0:
                    time.sleep(wait_time)
            
            calls.append(time.time())
            return func(*args, **kwargs)
        return wrapper
    return decorator

@rate_limiter(max_calls_per_minute=30)
def generate_content(prompt):
    return call_mistral(session, "mistral-tiny", prompt)

Maliyet Optimizasyonu Stratejileri

LLM maliyetleri token sayısıyla belirlenir. Maliyetleri optimize etmek, görev için doğru modeli seçmeyi ve bağlam penceresi verimliliğini yönetmeyi içerir.

Model Seçimi: Basit sınıflandırma veya çıkarma görevleri için mistral-tiny veya mistral-small kullanın. Karmaşık akıl yürütme veya yaratıcı yazma için mistral-largeı saklayın.
Bağlam Penceresi Yönetimi: Token sınırında kalmak için konuşma geçmişindeki eski mesajları kısaltın. Yalnızca en alakalı bağlamı tutmak için kayan pencere tekniklerini kullanın.
Yayın Yanıtları: Kullanıcılara çıktıyı hemen göstermeye başlamak için yayını kullanın; bu, algılanan gecikmeyi iyileştirir, ancak toplam token kullanımı aynı kalır.

Sonuç

Mistral AI ile üretim seviyesinde bir entegrasyon oluşturmak; güvenilirlik ve verimlilik konusunda disiplinli bir yaklaşım gerektirir. Yeniden denemeler için üstel geri çekilme uygulamak, hız sınırlarını proaktif olarak yönetmek ve modelleri stratejik olarak seçerek geliştiriciler, yapay zeka destekli uygulamalarının kararlı, hızlı ve maliyet etkin kalmasını sağlayabilir. Uygulamanız ölçeklendikçe bu stratejileri ayarlamak için API kullanım metriklerinizi her zaman izleyin.