Yüzde hızlı gelişen Geriye Dönük Üretim (RAG) manzarasında, bir AI mühendisinin karşılaştığı en kritik kararlar, doğru gömme mimarisini seçmektir. Bi-Encoders ve Cross-Encoders arasındaki seçim, sistem gecikmesi ile geri alma doğruluğu arasındaki dengeyi temelden belirler. Üretim seviyesinde RAG hatları oluşturan ara ve ileri düzey geliştiriciler için, bu mimari nüansları anlamak sadece teorik değil—kullanıcı deneyimini ve hesaplama maliyetlerini optimize etmek için hayati önem taşır.
Bi-Encoder: Ölçeklenebilirlikte Hız
Bi-Encoders, vektör veritabanlarının omurgasıdır. Bu mimaride, sorgu ve belge, iki özdeş sinir ağı dalı tarafından bağımsız olarak işlenir. Her biri sabit boyutlu bir vektöre kodlanır ve benzerlik, kosinüs benzerliği veya nokta çarpımı gibi metrikler kullanılarak hesaplanır.
Bu yaklaşımın temel avantajı verimlilikdir. Belgeler bir kez kodlanır ve bir dizinde saklandığı için, sorgular Yaklaşık En Yakın Komşu (ANN) araması kullanılarak milisaniyeler içinde yanıtlanabilir. Bu, bi-encoders'ı, milyonlarca belgeyi taradığınız top-k geri alma aşamaları için ideal kılar.
Bununla birlikte, bu hız bir bedel gerektirir. Bi-encoders, sorgu ve belgeyi bağımsız girdiler olarak ele aldığından, kodlama aşamasında bunlar arasındaki ince detaylı etkileşimleri kaçırarak anlamsal nüanslarla mücadele etme eğilimindedir.
Cross-Encoder: Etkileşim Üzerinden Hassasiyet
Cross-Encoders, buna karşılık, hem sorguyu hem de belgeyi aynı anda girdi olarak alır. Birleştirilmiş metin çiftini bir dönüştürücü modeli üzerinden işleyerek, dikkat mekanizmasının sorgu ve belge arasında derinlemesine etkileşime girmesine olanak tanır. Bu, çok daha derin bir anlamsal anlayımı yansıtan bir uygunluk puanı ile sonuçlanır.
Altı nedir? Gecikme. Model, her aday çiftini tek tek işlemek zorunda olduğundan, cross-encoders ön filtreleme için vektör dizinlerinden yararlanamaz. Hesaplama açısından pahalı ve yavaşdırlar; genellikle hızlı bir GPU hızlandırmalı vektör araması yerine, her karşılaştırma için CPU süresi gerektirirler.
Hibrit Yaklaşımı Uygulama
Yüksek performanslı RAG için endüstri standardı, birini diğerine tercih etmek değil, bunları birleştirmektir. Bu "yeniden sıralama" stratejisi, başlangıçta geniş geri alma için bir bi-encoder ve adayların hassas yeniden sıralaması için bir cross-encoder kullanır.
Bu mantığı Python ve LangChain veya SentenceTransformers gibi popüler kütüphaneler kullanılarak nasıl uygulayabileceğinize dair bir örnek:
from sentence_transformers import CrossEncoder
# 1. Bi-Encoder ile Başlangıç Geri Alımı (Hızlı)
# 'vector_db' bir Pinecone/Milvus örneği olsun
# ve 'initial_results' bulunan ilk 100 belge olsun
query = "Yeni AI düzenlemesinin vergisel etkileri nelerdir?"
initial_results = vector_db.similarity_search(query, k=100)
# 2. Cross-Encoder ile Yeniden Sıralama (Doğru ama Yavaş)
# Çiftleri hazırlayın: (sorgu, belge) demetlerinin listesi
pairs = [(query, doc.page_content) for doc in initial_results]
# Önceden eğitilmiş bir cross-encoder modeli yükleyin
model = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
# Tüm çiftler için puanları alın
scores = model.predict(pairs)
# Uygunluk puanına göre sıralayın ve ilk 5'i seçin
sorted_results = sorted(zip(initial_results, scores), key=lambda x: x[1], reverse=True)
final_context = [res[0].page_content for res in sorted_results[:5]]
# LLM üretimi için final_context kullanın
Sonuç: Denge Sanatı
RAG hattınızı tasarlarken, ölçeklenebilirliği nedeniyle bir bi-encoder ile başlayın. Doğruluk metriklerinizin, başlangıç geri alımının ilgili bağlamı kaçırdığını gösteriyorsa, ikinci aşama olarak bir cross-encoder yeniden sıralayıcı ekleyin. Bu iki aşamalı süreç, isteklerin çoğu için düşük gecikmeyi korurken, LLM'ye geçirilen nihai bağlamın anlamsal olarak hassas olmasını sağlar. Her modelin nerede öne çıktığını anlayarak, hem hızlı hem de zeki RAG sistemleri oluşturabilirsiniz.