Technical Tutorials

Büyük Dil Modelleri (LLM'ler) deneysel prototiplerden üretim sistemlerine geçerken, çıktı maliyetleri kritik bir konu haline geliyor. Vektör benzerliğine dayalı olarak sonuçları saklayan anlamsal önbellekleme popülerlik kazanmış olsa da, bu yöntem tek çözüm değildir. Anlamsal eşleştirme, hesaplama yükü getirir ve hassasiyetin hayati olduğu durumlarda tam eşleşmeleri kaçırabilir. Birçok kurumsal kullanım durumu için, En Az Kullanılan (LRU) ve Yaşam Süresi (TTL) önbellekleme gibi deterministik stratejiler, üstün güvenilirlik ve maliyet verimliliği sunar. Bu yazıda, hizmet kalitesinden ödün vermeden çıktı maliyetlerini nasıl düşürebileceğinizi keşfedeceğiz.

Saf Anlamsal Önbelleklemenin Sınırlamaları

Anlamsal önbellekleme, önceki bir yanıtın yeni bir sorguya "yeterince yakın" olup olmadığını belirlemek için gömme modellerine dayanır. Keşif amaçlı görevler için etkili olsa da, yüksek riskli uygulamalar için iki temel dezavantajı vardır: gecikme süresi ve maliyet. Gelen her istek için gömme hesaplaması yapmak, LLM çıktısını atlamaktan sağlanan tasarrufu ortadan kaldırabilecek bir işleme adımı ekler. Ayrıca, tam veri çekme gerektiren senaryolarda (örneğin, müşteri destek biletleri veya finansal raporlama), yaklaşık eşleşmeler kabul edilemez. İşte tam anahtar aramaları için LRU veya zaman sınırlı geçersiz kılma için TTL çok daha uygundur.

LRU (En Az Kullanılan) Önbellekleme Uygulaması

LRU önbellekleme, tekrarlayan sorgu kalıpları için idealdir. Uygulamanız sık sık aynı soruları soruyorsa, prompt'a göre anahtarlanmış tam çıktıyı saklamak, sonraki isteklerin bellekten veya Redis gibi hızlı bir bellek içi depolamadan anında dönmesini sağlar. Temel ilke basittir: Önbellek kapasitesine ulaştığında, en az erişilen öğe bellekten atılır.

Python'da, `functools` kütüphanesini kullanarak sağlam bir LRU önbelleği uygulayabilir veya dağıtık sistemler için Redis ile entegre edebilirsiniz. Aşağıda, basitlik için dekoratör tabanlı bir yaklaşım kullanan pratik bir örnek bulunmaktadır; bu genellikle yerel mikro hizmetlerde kullanılır.

import time
from functools import lru_cache

# maxsize'ı 128 olarak ayarlamak, 129. yeni öğenin en eskisini atacağı anlamına gelir
@lru_cache(maxsize=128)
def get_llm_response(query: str, model: str = "gpt-4") -> str:
    """
    Bir LLM çağrısını simüle eder. Üretimde bu API'yi çağıracaktır.
    Dekorator önbellekleme işlemini otomatik olarak yönetir.
    """
    print(f"API Çağrısı yapıldı: {query[:20]}...")
    # Ağ gecikmesini simüle et
    time.sleep(1)
    return f"AI Yanıtı: {query}"

# İlk çağrı - API'yi vurur
print(get_llm_response("Fransa'nın başkenti nedir?"))

# İkinci çağrı - önbellekten hizmet verir
print(get_llm_response("Fransa'nın başkenti nedir?"))

# Farklı sorgu - API'yi tekrar vurur
print(get_llm_response("2+2 kaç eder?"))

TTL (Yaşam Süresi) Stratejik Kullanımı

LLM çıktıları genellikle bağlama bağımlı veya zamana duyarlıdır. Dün geçerli bir bilgi, bugün yanlış olabilir. TTL önbellekleme, her önbellek girdisini bir sona erme zamanlayıcısıyla ilişkilendirerek bu sorunu çözer. Bu strateji, özellikle haber özetleri, gerçek zamanlı piyasa analizi veya dinamik SSS için kullanışlıdır.

TTL uygularken, özellikle Redis kullanarak dağıtık bir ortamda, sona erme süresini verinin değişkenliğine göre yapılandırmalısınız. Statik dokümantasyon sorguları için 24 saatlik bir TTL yeterli olabilir. Gerçek zamanlı hisse senedi analizi için 60 saniyelik bir TTL gerekli olabilir.

import redis
import json

# Redis'e bağlan
r = redis.Redis(host='localhost', port=6379, db=0)

def get_cached_llm_response(query: str, ttl_seconds=3600):
    cache_key = f"llm:{query}"
    
    # Önbellekten almaya çalış
    cached_response = r.get(cache_key)
    
    if cached_response:
        print("Önbellek Eşleşmesi")
        return json.loads(cached_response)
    
    # LLM çağrısını simüle et
    print("Önbellek Eşleşmedi - LLM'ye Başvuruluyor")
    # response = call_llm_api(query) 
    response = f"Sonuç: {query}"
    
    # TTL ile önbelleğe kaydet
    r.setex(cache_key, ttl_seconds, json.dumps(response))
    
    return response

# Bu 1 saat sonra sona erecek
get_cached_llm_response("Londra'daki mevcut hava durumu")

LLMOps İçin Hibrit Yaklaşım

En maliyet etkin strateji genellikle bu teknikleri birleştirir. Deterministik sorgular için tam LRU önbellekleme ve yaratıcı veya açık uçlu görevler için anlamsal önbellekleme kullanabilirsiniz. Ayrıca, TTL'yi LRU'nun üzerine katmanlamak, tam eşleşmelerin bile eski verileri sınırsız şekilde sunmasını engeller. Önbellek boyutlarını ve sona erme politikalarını dikkatlice ayarlayarak, mühendislik ekipleri kullanıcı deneyimini korurken LLM API maliyetlerini %40-60 oranında azaltabilir.

Sonuç

Anlamsal önbellekleme güçlü bir araçtır, ancak LLM çıktısını optimize etmek için tek çözüm değildir. Sağlam LRU ve TTL stratejilerinin uygulanması, birçok üretim yükü için deterministik, düşük gecikmeli ve son derece maliyet etkin bir alternatif sağlar. LLMOps alanı olgunlaştıkça, doğru kullanım durumu için doğru önbellekleme mekanizmasını seçme yeteneği, yüksek performanslı uygulamaları uçsuz bucaksız API faturalarıyla mücadele eden uygulamalardan ayıracaktır.