Technical Tutorials

Hızla gelişen Üretken Yapay Zeka (Generative AI) dünyasında, Bağlam-Bilgiye Dayalı Üretme (RAG), bağlam duyarlı uygulamalar oluşturmak için altın standart haline gelmiştir. Geliştiricilerin çoğu basitlik nedeniyle bulut tabanlı gömme hizmetlerini tercih etse de, bu yaklaşım genellikle gecikme süresi, gizlilik endişeleri ve artan maliyetler getirir. Bu kılavuz, Mistral API'nin akıl yürütme gücünü yerel gömme yöntemlerinin verimliliği ve güvenliğiyle birleştirerek yüksek performanslı bir RAG boru hattı nasıl mimari olarak tasarlanacağını inceler.

Yerel Gömme Yöntemlerinin Avantajları

Geleneksel RAG sistemleri genellikle metni vektör temsillerine dönüştürmek için OpenAI'nin gömme hizmetleri veya Cohere'nin servisleri gibi API'leri kullanır. Ancak, kurumsal uygulamalar veya yüksek hacimli kişisel projeler için her veri parçasını üçüncü taraf bir sunucuya göndermek verimsizdir. Sentence-BERT (SBERT) tabanlı veya hafif Mistral modelleri gibi yerel gömme modelleri çalıştırarak şu üç kritik avantaja sahip olursunuz:

Maliyet Azaltımı: Gömme işlemleri için her jeton veya her istek başına ücretleri ortadan kaldırın.
Gecikme Süresi Kontrolü: Özellikle GPU desteği olan makinelerde yerel çıkarım, harici API'lere yapılan ağ gidiş-dönüşlerinden genellikle daha hızlıdır.
Veri Gizliliği: Hassas belgeler yerel ortamınızdan hiç çıkmaz, bu da veri yönetişimi politikalarına sıkı uyumu sağlar.

Mimari Genel Bakış

Uygulayacağımız hibrit mimari üç ayrı bileşen içerir: yerel bir gömme oluşturucu, depolama ve sorgulama için bir vektör veritabanı ve nihai üretim için Mistral API'si. Akış şu şekildedir:

Yükleme: Belgeler parçalara ayrılır ve yerel olarak gömme (embedding) değerleri oluşturulur.
Depolama: Vektörler ChromaDB gibi hafif bir veritabanında saklanır.
Sorgulama: Kullanıcı sorguları, ilgili bağlamı bulmak için yerel olarak gömme değerlerine dönüştürülür.
Üretim: Bağlam, sentezlenmiş bir yanıt oluşturmak üzere Mistral'a gönderilir.

Uygulama Kılavuzu

Yerel gömme işlemleri için Python ile huggingface_hub kütüphanesini ve üretim için resmi mistralai SDK'sını kullanacağız. İlk olarak, gerekli bağımlılıkları yükleyin:

pip install mistralai chromadb huggingface_hub sentence-transformers

Adım 1: Yerel Gömme Yöntemlerini Ayarlama

Gömme işlemi için hafif bir sentence-transformers modeli kullanıyoruz. Bu işlem tamamen donanımınızda çalışır.

from sentence_transformers import SentenceTransformer

# Hafif bir modeli yerel olarak yükleyin
embedding_model = SentenceTransformer('all-MiniLM-L6-v2')

def get_embeddings(texts):
    """Bir metin parçası listesi için gömme değerleri oluşturun."""
    return embedding_model.encode(texts)

# Örnek kullanım
query = "RAG nasıl çalışır?"
embeddings = get_embeddings([query])
print(f"Sorgu gömme şekli: {embeddings.shape}")

Adım 2: Mistral API'sine Bağlanma

İlgili bağlam vektör mağazanızdan alındıktan sonra, bunu Mistral'a iletiriz. Burada, Mistral'ın küçük ve orta boyutlu bağlam pencerelerindeki güçlü akıl yürütme yeteneklerinden yararlanıyoruz.

import os
from mistralai import Mistral

# API anahtarınızla istemciyi başlatın
api_key = os.environ["MISTRAL_API_KEY"]
client = Mistral(api_key=api_key)

def generate_response(context, query):
    """Üretim için bağlam ve sorguyu Mistral'a gönderin."""
    prompt = f"""Yardımcı bir asistansınız. Kullanıcının sorusunu yanıtlamak için aşağıdaki bağlamı kullanın. 
    Cevap bağlamda yoksa, bilmediğinizi belirtin.
    
    Bağlam: {context}
    Soru: {query}
    Cevap:"""

    response = client.chat.complete(
        model="mistral-medium-latest",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

# Örnek çağrı
answer = generate_response("RAG, sorgulama ve üretmeyi birleştirir...", query)
print(answer)

Sonuç

Gömme işlemini LLM API'sinden ayırarak daha sağlam, ölçeklenebilir ve maliyet etkin bir AI uygulaması oluşturursunuz. Yerel gömme yöntemleri ve Mistral API'sinin kombinasyonu güçlü bir sinerji sunar: veri egemenliğinizi korurken operasyonel maliyetleri düşürür ve en son dil anlama teknolojilerinden yararlanırsınız. Ölçeklendikçe, performansı daha da artırmak için daha büyük yerel gömme modelleri denemek veya vektör veritabanı sorgularınızı optimize etmek isteyebilirsiniz. Bu hibrit yaklaşım sadece teknik bir tercih değil; modern AI geliştirme için stratejik bir avantajdır.