Technical Tutorials

Jeneratif AI'nın hızla gelişen manzarasında, Büyük Dil Modelleri (LLM) çıkarımı için "siyah kutu" yaklaşımı artık geçerliliğini yitiriyor. Bugünün kullanıcıları, AI ile yaptıkları konuşmalarda anında geri bildirim, etkileşim ve bir varlık hissi bekliyor. Bu beklenti, token akışını yüksek performanslı AI altyapısının kritik bir bileşeni haline getirdi. Orta ve ileri düzey geliştiriciler için token akışının mekaniklerini anlamak artık bir tercih değil; rekabetçi ve kullanıcı dostu AI uygulamaları geliştirmek için temel bir gerekliliktir.

Neden Akış Yapılır? Gecikme Meydan Okuması

Geleneksel API çağrıları, istemcinin bir istek (prompt) gönderdiği, tüm tamamlama işlemini beklediği ve tam metin yükünü aldığı bir istek-yanıt modeli üzerine çalışır. Bir LLM'in 500 kelimelik bir deneme yazdığı senaryoda bu işlem birkaç saniye sürebilir. Bu süre boyunca kullanıcı arayüzü statik kalır ve bu durum, "ilk bayt zamanı" (TTFB) gecikmesi olarak bilinen kötü bir kullanıcı deneyimine yol açar.

Token akışı, özellikle Sunucu Tarafı Olayları (SSE) kullanıldığında, sunucunun yanıtları kademeli olarak göndermesini sağlar. LLM ilk token'ı oluşturur oluşturmaz, bu token istemciye gönderilir. Bu durum, metnin gerçek zamanlı olarak yazılıyormuş gibi görsel etkisini yaratır ve algılanan performansı ve kullanıcı etkileşimini büyük ölçüde artırır. Altyapı mühendisleri için bu durum, toplu veri aktarımından sürekli ve düşük gecikmeli veri akışına doğru bir paradigm shiftsine neden olur.

Python ile Token Akışının Uygulanması

Akış yapmanın uygulanması, tek bir tam yanıt göndermek yerine veri parçacıklarını üretebilen bir sunucu gerektirir. Python'da, FastAPI veya Starlette gibi çerçeveler kullanılarak bu durum asenkron jeneratörler kullanılarak gerçekleştirilir. Aşağıda, akışlı bir uç nokta (endpoint) nasıl uygulanacağına dair pratik bir örnek bulunmaktadır.

Öncelikle gerekli kütüphanelerin yüklü olduğundan emin olun:

pip install fastapi uvicorn openai

İşte akışlı bir uç noktanın sağlam bir uygulaması:

import asyncio
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from openai import AsyncOpenAI

app = FastAPI()
client = AsyncOpenAI()

async def generate_tokens(prompt: str):
    """Token'ları tek tek üreten asenkron jeneratör."""
    stream = await client.chat.completions.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": prompt}],
        stream=True
    )
    async for chunk in stream:
        # Chunk'tan token'ı çıkar
        token = chunk.choices[0].delta.content
        if token:
            yield f"data: {token}\n\n"

@app.get("/stream")
async def stream_response(user_input: str):
    return StreamingResponse(
        generate_tokens(user_input),
        media_type="text/event-stream"
    )

Bu kodda, generate_tokens fonksiyonu asenkron bir jeneratör olarak hareket eder. OpenAI akışını iter, bireysel token'ları çıkar ve bunları SSE yükleri olarak biçimlendirilmiş şekilde üretir. FastAPI'deki StreamingResponse, HTTP bağlantısını açık tutarak ve bunlar mevcut olduğunda bu parçacıkları istemciye göndererek işlemi yönetir.

İstemci Tarafı Yönetimi: Akışın Okunması

İstemci tarafında, SSE işleme gelen veri akışını ayrıştırmayı gerektirir. JavaScript'te, Fetch API bu işlemi temiz bir şekilde yönetmek için temiz bir yol sağlar. Yanıt gövdesi, asenkron olarak işlenebilen bir ReadableStream içerir.

async function handleStream(url) {
  const response = await fetch(url);
  const reader = response.body.getReader();
  const decoder = new TextDecoder('utf-8');

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;

    const chunk = decoder.decode(value, { stream: true });
    // SSE formatını ayrıştır ve UI'ya ekle
    const tokens = chunk.split('\n').filter(line => line.startsWith('data: '));
    for (const line of tokens) {
      console.log(line.replace('data: ', ''));
    }
  }
}

Sonuç

Token akışı, sadece bir UX (kullanıcı deneyimi) iyileştirmesinden öte; modern AI uygulamaları için temel bir mimari kalıptır. Oluşturma süresini kullanıcı etkileşiminden ayırarak, duyarlı ve zeki hissettiren sistemler oluştururuz. İster bir sohbet botu, ister bir kod tamamlama aracı, isterse de gerçek zamanlı bir analiz panosu geliştiriyor olun, sunucu tarafı asenkron jeneratörleri ile istemci tarafı akış okuyucuları arasındaki etkileşimi ustalıkla yönetmek, AI deneyimlerinin bir sonraki nesilini sunmak için esastır.