Retrieval-Augmented Generation (RAG) uygulamaları geliştirirken, geliştiriciler genellikle yaygın bir darboğazla karşılaşır: "iğne ile kuyu" (needle in a haystack) sorunu. Vektör veritabanları, büyük ölçekli semantik olarak benzer belgeleri getirme konusunda başarılı olsa da, benzerliği yaklaşık olarak hesaplayan yoğun gömme (dense embeddings) yöntemlerine dayanırlar. Bu yaklaşım, getirilen parçaların konusal olarak alakalı olsa da karmaşık sorguları yanıtlamak için bağlamsal olarak yetersiz kalmasına neden olan gürültüye yol açabilir. İşte burada, iyi bir RAG sistemini mükemmel bir hale dönüştüren kritik bir optimizasyon adımı olan yeniden sıralama (re-ranking) devreye girer.
Getirme Açığını Anlamak
Standart bir RAG pipeline'ında, getirme adımı genellikle bir bi-encoder mimarisi kullanır. Bu yapıda, sorgu ve belge bağımsız olarak vektör görmelerine dönüştürülür ve benzerlik kosinüs benzerliği aracılığıyla hesaplanır. Bu yöntem, hesaplama açısından verimli ve milyonlarca belgeye ölçeklenebilir olsa da, belirli sorgu terimleri ile belge içeriği arasındaki ince detaylı etkileşimi anlama yeteneğine sahip değildir.
Örneğin, bir kullanıcı "Sözleşme ceza olmadan erken feshi izin veriyor mu?" diye sorduğunda, bi-encoder, kelimeler semantik olarak örtüştüğü için, cezaları ima eden farklı bir bölümden erken feshi içeren bir madde getirebilir. İşte yeniden sıralama aşaması, bu hataları düzeltmek için araya girer.
Çapraz-Encoders ile Yeniden Sıralama
Yeniden sıralama için altın standart, Çapraz-Encoder'ların (Cross-Encoders) kullanımıdır. Bi-encoder'ların aksine, Çapraz-Encoder'lar sorguyu ve belgeyi eşzamanlı olarak işler. Sorgudaki her kelimeye ve belgedeki her kelimeye dikkat ederek karmaşık semantik etkileşimleri, olumsuzlamaları ve belirli kısıtlamaları yakalayabilirler.
Tipik bir pipeline, ilk kaba getirme için yoğun vektör araması (örneğin, ilk 50-100 belgeyi getirmek) kullanır ve ardından bu adayları yeniden puanlamak için bir Çapraz-Encoder uygular, böylece LLM'ye yalnızca en alakalı 5-10 parçayı döndürür. Bu hibrit yaklaşım, hız ve doğruluk arasında denge kurar.
Sentence Transformers ile Pratik Uygulama
Bir yeniden sıralayıcı (re-ranker) uygulamak, modern Python kütüphaneleri kullanıldığında oldukça basittir. sentence-transformers kütüphanesi, herhangi bir RAG pipeline'ına entegre edilebilen önceden eğitilmiş Çapraz-Encoder modelleri sağlar. Aşağıda, getirilen belgelerin bir sorguya göre nasıl puanlanacağına dair pratik bir örnek bulunmaktadır.
from sentence_transformers import CrossEncoder
# Önceden eğitilmiş bir Çapraz-Encoder modeli yükleyin
model = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
# Kullanıcının sorgusu
query = "Yeniden sıralama için Cross-Encoders kullanmanın avantajları nelerdir?"
# Bir Vektör DB'den (Bi-Encoder aşaması) ilk olarak getirilen adaylar
candidates = [
"Çapraz-encoder'lar yavaştır ancak doğrudur.",
"Vektör veritabanları arama için kosinüs benzerliği kullanır.",
"Yeniden sıralama, sorgu-belge çiftlerini birlikte işleyerek doğruluğu artırır.",
"Bağlam alakasızsa LLM'ler halüsinasyon üretebilir."
]
# İlgililik puanlarını hesaplayın
scores = model.predict([(query, text) for text in candidates])
# Puanları metinlerle eşleştirin ve puana göre azalan sırada sıralayın
results = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)
for text, score in results:
print(f"Puan: {score:.4f} | Metin: {text}")Bu kod parçasında, model her bir aday için bir ilgililik puanı döndürür. Bu sonuçları sıralayarak, LLM'nin en bağlamsal olarak alakalı bilgiyi almasını sağlarız ve bu da halüsinasyon oranlarını önemli ölçüde azaltır.
Sonuç
Yeniden sıralama, sadece isteğe bağlı bir ek değil; üretim seviyesindeki RAG sistemleri için gerekli bir bileşendir. Çapraz-Encoder'ları kullanarak ilk getirme sonuçlarını iyileştirerek, geliştiriciler bilgi getirme doğruluğunu büyük ölçüde artırabilir. Bu işlem gecikme süresi eklese de, cevap kalitesindeki artış karşılığında bu maliyet neredeyse her zaman değerlidir. AI uygulamalarınızı ölçeklendirdikçe, sağlam bir yeniden sıralama stratejisi entegre etmek, bir prototip ile güvenilir bir ürün arasındaki farkı yaratacaktır.