Technical Tutorials

Büyük Dil Modeli (LLM) uygulamalarının hızla gelişen yapısında kullanıcı deneyimi genellikle gecikme süresi ile tanımlanır. Geleneksel API çağrıları potansiyel olarak uzun bir bekleme sonrasında tam bir yanıt döndürürken, modern uygulamalar aciliyet ve anlık tepki talep eder. İşte burada akış yanıtları devreye girer. Bu kılavuzda, verimli belirteç (token) üretimi ve ön uç (front-end) render işlemine odaklanarak Mistral API'sini kullanarak duyarlı, gerçek zamanlı bir sohbet arayüzü nasıl oluşturulacağını keşfedeceğiz.

Sohbet Kullanıcı Deneyimi İçin Akışın Önemi

Sohbet uygulamaları için "İlk Belirtece Ulaşma Süresi" (TTFB - Time to First Token) kritik bir metrikdir. Akış kullanmayan bir istemci, kullanıcıya hiçbir şey gösterilmeden önce belirteç dizisinin tamamının üretilmesini, hesaplanmasını ve iletilmesini beklemek zorunda kalır. Akış kullanıldığında, belirteçler üretildikleri anda gönderilir ve bu da yazı makinesi efekti yaratarak çok daha hızlı ve etkileşimli bir his verir.

Mistral AI'nin API'si, stream=True parametresi ile /chat/completions uç noktası kullanıldığında yerel olarak sunucu tarafından gönderilen olayları (SSE - Server-Sent Events) destekler. Bu, yanıtı parçalar halinde işlememizi sağlar ve büyük bağlam pencereleri ile bile kullanıcı deneyimini akıcı tutar.

Python ile Arka Uç Uygulaması

Bunu göstermek için resmi mistralai Python SDK'sını kullanacağız. Temel mantık, bir istemci kurmak, bir sohbet oturumu başlatmak ve akış üzerinde yineleme yapmakla ilgilidir. Standart yanıtların aksine, bir akış kısmi yanıtlar üreten bir yineleyicidir (iterator).

İşte standart bir web çerçevesi yaklaşımı (Flask/FastAPI bağlamı için sahte kod) ile sağlam bir uygulama:

from mistralai.client import MistralClient
from mistralai.models.chat_completion import ChatMessage

api_key = "YOUR_MISTRAL_API_KEY"
model = "mistral-small-latest"

client = MistralClient(api_key=api_key)

def stream_chat(user_message: str):
    """
    Mistral API'den belirteçler üreten jeneratör fonksiyonu.
    """
    messages = [
        ChatMessage(role="user", content=user_message)
    ]
    
    # stream=True ayarını yaparak akışı etkinleştirin
    stream = client.chat(
        model=model,
        messages=messages,
        stream=True
    )
    
    for chunk in stream:
        # Chunk içinde delta seçimleri olup olmadığını kontrol edin
        if chunk.data.choices:
            delta = chunk.data.choices[0].delta
            if delta.content:
                yield delta.content

Bu kod parçacığında, stream nesnesi üzerinden yineleme yapıyoruz. Her yineleme bir veri parçası sağlar. delta.content kontrolü yaparak görüntülenecek gerçek metin belirtecini çıkarıyoruz. Bu jeneratör fonksiyonu daha sonra arka uç çerçevenizde bir WebSocket veya Sunucu Tarafından Gönderilen Olay (SSE) uç noktasına bağlanabilir.

Ön Uç Render İşleminin Yönetimi

İstemci tarafında, gelen veri parçalarını verimli bir şekilde işlemek gerekir. EventSource veya WebSocket bağlantısı ile JavaScript kullanıyorsanız, bu parçaları biriktirmeniz gerekecektir. Yaygın bir hata, çok sık render işlemi yapmaktır; bu durum düzen çalkantısına (layout thrashing) neden olabilir. Belirteçleri biraz tamponlamak veya gecikmeli bir güncelleme mekanizması kullanmak en iyi uygulamalardan biridir.

Ayrıca, olası kesintileri de yönettiğinizden emin olun. Kullanıcı, önceki akış tamamlanmadan yeni bir mesaj gönderirse, önceki akışı sonlandırmanız gerekir. Mistral istemcisi istekleri sonlandırmayı destekler, ancak bellek sızıntılarını veya yarış durumlarını (race conditions) önlemek için bu durumu uygulama mantığınızda yönetmeniz gerekir.

Belirteç Kullanımı ve Maliyetlerin Optimize Edilmesi

Akış kullanımı kullanıcı deneyimini iyileştirse de, genellikle işlenen toplam belirteç sayısına (giriş + çıkış) dayalı olan temel maliyet yapısını değiştirmez. Ancak akış, daha iyi hata yönetimine olanak tanır. Bir istek zaman aşımına uğrarsa veya bir hız sınırıyla karşılaşırsa, istisnayı akış sırasında yakalayıp yalnızca gerekli kısmı yeniden deneyebilir veya tam yükü beklemeden kullanıcıya hemen bilgi verebilirsiniz.

Sonuç

Akış yanıtlarını Mistral API'si ile entegre etmek, kullanıcı etkileşiminde önemli faydalar sağlayan basit bir süreçtir. Python'un jeneratör fonksiyonlarından ve Mistral SDK'sından yararlanarak geliştiriciler, anlık hissettiren sohbet arayüzleri kolayca oluşturabilir. Uygulamanızı genişletirken, gerçek zamanlı AI etkileşimlerinizin kararlılığını ve performansını daha da artırmak için geri basınç (back-pressure) mekanizmaları ve gelişmiş tamponlama yöntemlerini uygulamayı düşünün.