Technical Tutorials

Büyük Dil Modelleri (LLM) kaynak yoğun olduğundan, gecikmeyi ve hesaplama maliyetlerini azaltmak için yanıt önbellekleme temel bir stratejidir. Ancak LLM'leri çok kiracılı bir ortamda dağıtmak önemli bir karmaşıklık getirir. Basit bir önbellekleme stratejisi, iki kritik arızaya yol açabilir: veri sızıntısı, yani Kiracı A'nın Kiracı B için oluşturulmuş önbelleğe alınmış yanıtları alması ve eski yanıtlar, yani modelin daha yeni, kiracıya özgü bağlamla çelişen güncel olmayan bilgileri sunması. Bu gönderi, paylaşılan LLM altyapısında hem güvenliği hem de tazelik güvence altına alan bir önbellek tutarlılığı protokolünün nasıl tasarlanacağını ele alıyor.

Basit Önbelleklemedeki Sorun

Standart bir REST API'de önbellekleme genellikle istek imzalarıyla yönetilir. Ancak LLM'lerde "girdi" nadiren basit bir dizgedir. Sistem istemlerini, kullanıcı geçmişini, geri getirme destekli üretim (RAG) bağlamını ve potansiyel olarak sıcaklık veya top-k değerleri gibi kiracıya özgü parametreleri içerir. Önbellek anahtarınız yalnızca kullanıcının son istemine dayalıysa, bir çakışma riskiyle karşı karşıya kalırsınız. İki farklı kiracı "İade politikanız nedir?" sorusunu sorabilir. Kiracı A'nın politikası katıyken, Kiracı B'nin politikası esnek olabilir. Sistem ilk yanıtı önbelleğe alırsa, Kiracı B, Kiracı A'nın yanlış politikasını alır; bu da bir veri sızıntısına ve iş mantığı hatasına yol açar.

Çok Boyutlu Bir Önbellek Anahtarı Tasarlamak

Tutarlılığı sağlamak için, önbellek anahtarı, modelin çıktısını etkileyen tüm değişkenlerin bileşik bir özeti (hash) olmalıdır. Buna şunlar dahildir:

Kiracı Kimliği: En kritik güvenlik sınırı.
Model Sürümü: Farklı model ağırlıkları veya sistem istemleri ayrı önbellekler gerektirir.
Bağlam Penceresi Özeti: O istek için kullanılan belirli RAG parçacıklarının veya veritabanı aramalarının özeti.


import hashlib
import json

def generate_coherent_cache_key(tenant_id: str, model_version: str, prompt: str, context_chunks: list[str], params: dict) -> str:
    """
    Kiracı izolasyonunu ve bağlam tazelikini garanti eden benzersiz bir önbellek anahtarı üretir.
    """
    # 1. Tüm değişmez durumu birleştir
    state = {
        "tenant": tenant_id,
        "model": model_version,
        "prompt": prompt,
        "context": sorted(context_chunks), # Sıralama, sıralamadan bağımsız tutarlılık sağlar
        "params": {
            "temperature": params.get("temperature"),
            "top_k": params.get("top_k")
        }
    }
    
    # 2. Kararlı bir JSON temsili oluştur
    stable_json = json.dumps(state, sort_keys=True)
    
    # 3. Depolama için özetle
    return hashlib.sha256(stable_json.encode('utf-8')).hexdigest()

Eski Bağlamı ve TTL Stratejilerini Yönetme

Mükemmel bir anahtar olsa bile, veriler eskir. RAG hattınız bilgi tabanını güncellerse, önceki önbellekler geçersiz hale gelir. Yaşam Süresi (TTL) gereklidir, ancak yalnızca buna güvenmek tehlikelidir. Bunun yerine, sürümlü bir bağlam belirteci uygulayın. Bilgi tabanı güncellendiğinde bir sürüm numarası artırın. Bu sürümü önbellek anahtarına dahil edin.

Dinamik sohbetler için kayan pencere TTL'sini düşünün. Bir kullanıcı çok turlu bir sohbetin ortasındaysa, bir sonraki istemin bir önceki anlık turu dikkate almasını sağlamak için önbelleğin hızla sona ermesi (ör. 30 saniye) gerekir; çünkü bu tur, bir sonraki sorgunun anlamsal niyetini değiştirebilir.

Pratik Uygulama: İsim Alanlarıyla Redis

Redis kullanarak, isim alanları (namespacing) yoluyla izolasyonu uygulayabilirsiniz. Bileşik özet çakışmalara karşı koruma sağlasa da, anahtar üretimindeki mantıksal hatalara karşı ek bir savunma katmanı olarak kiracı başına ayrı bir Redis öneki kullanmak faydalıdır.


class LLMCacheService:
    def __init__(self, redis_client):
        self.redis = redis_client

    def get_or_generate(self, tenant_id: str, key_hash: str, generate_fn):
        # Derinlemesine savunma için isim alanlı anahtar
        namespaced_key = f"llm:cache:{tenant_id}:{key_hash}"
        
        cached_response = self.redis.get(namespaced_key)
        if cached_response:
            return json.loads(cached_response)

        # Önbellek kaçırması: Yeni yanıt üret
        response = generate_fn()
        
        # TTL ile ayarla (ör. 3600 saniye = 1 saat)
        self.redis.setex(namespaced_key, 3600, json.dumps(response))
        
        return response

Anomalileri İzleme

Potansiyel tutarlılık sorunlarını tespit etmek için günlük kaydı (logging) uygulayın. Kiracı başına önbellek isabet oranını izleyin. Belirli bir kiracı için isabet oranlarında ani bir düşüş, bağlam üretim mantığında bir hata olabileceğini ve her istek için benzersiz anahtarlar oluşturulduğunu (bu da maliyetlidir) gösterebilir. Tersine, farklı kiracılar arasında "hassas" sorgularda yüksek isabet oranı, manuel inceleme için bir uyarı tetiklemelidir; çünkü bu, bir anahtar çakışması kırılganlığını gösterebilir.

Sonuç

Çok kiracılı LLM ortamlarında önbellek tutarlılığı yalnızca bir performans konusu değildir; bir güvenlik zorunluluğudur. Kiracı kimliklerini, model sürümlerini ve bağlam özetlerini içeren bileşik önbellek anahtarları tasarlayarak, maliyetleri azaltmak için önbellekleme özelliklerini güvenle kullanabilirsiniz. Yapay zeka altyapınız ölçeklendikçe veri sınırlarınızın impenetrable (geçilmez) kalmasını ve yanıtlarınızın doğru kalmasını sağlamak için bunu her zaman sağlam TTL yönetimi ve izleme ile eşleştirmeyi unutmayın.