Büyük Dil Modelleri (LLM'ler) sınırlarını zorladıkça, en önemli darboğaz hala sınırlı bağlam penceresidir. Haftalarca veya aylarca etkileşim üzerinde akıl yürütmesi gereken otonom ajanlar geliştiren geliştiriciler için yalnızca standart KV önbelleğine güvenmek yetersizdir. Gerçek uzun vadeli zeka elde etmek için basit bağlam genişletmenin ötesine geçmeli ve sağlam hafıza sistemleri mimarileştirmeliyiz. Bu yazıda, iki temel paradigmayı: Vektör Hafızası ve Olay Bilgisi Hafızası'nı ve bunların ölçeklenebilir ajan mimarilerinde nasıl birleştirileceğini inceliyoruz.
Naif Bağlam Genişletmenin Sınırlamaları
Sadece tüm konuşma geçmişini isteme (prompt) içine beslemek verimsiz ve maliyetlidir. Gürültü ekler, gecikmeyi artırır ve modellerin uzun dizilerin ortasında sunulan bilgileri unuttuğu "ortada kaybolma" (lost in the middle) olgusuna sıkça yol açar. Bunu çözmek için, her şeyi geçmek yerine, mevcut sorguyla ilgili belirli hafızaları çıkarırız. Bu bizi iki farklı hafıza erişim yaklaşımına götürür.
Vektör Hafızası: Ölçeklenebilir Anlamsal Arama
Vektör hafızası, Geri Getirilmiş Üretim (RAG) mimarisinin omurgasıdır, bilgileri yüksek boyutlu bir uzayda yoğun gömme (embedding) olarak saklar. Tam kelime eşleşmesi yerine anlam bazlı arama yaparak bir ajanın bilgiyi bulmasını sağlar.
En İyi Kullanım Alanları: Gerçek bilgi, sabit talimatlar, kullanıcı tercihleri ve geçmiş veri araması.
Bir ajan "kullanıcının en sevdiği renk nedir" veya "önceki projenin teknik özellikleri nelerdir" gibi bilgileri hatırlaması gerektiğinde, Pinecone, Weaviate veya ChromaDB gibi vektör veritabanları idealdir. Bulanık eşleşmeye ve verimli benzerlik aramasına olanak tanır.
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
# Vektör deposunu başlat
vector_store = Chroma.from_documents(
documents=documents,
embedding=OpenAIEmbeddings()
)
# Anlamsal olarak benzer hafızaları getir
retrieved_docs = vector_store.similarity_search("Kodlama tercihlerim hakkında ne söylemiştim?", k=3)Olay Bilgisi Hafızası: Kronolojik Kayıt
Olay bilgisi hafızası, insanın belirli olaylara yönelik hafızasını yansıtır. Zaman damgalarını, bağlamı ve sonuçları içeren etkileşimlerin ayrı ayrı örneklerini saklar. Gerçeklerin erişimi için optimize edilmiş olan vektör hafızasının aksine, olay bilgisi hafızası olay dizilerini ve nedenselliği anlamak için optimize edilmiştir.
En İyi Kullanım Alanları: Görev ilerlemesini izleme, yakın geçmiş etkileşimlerini hatırlama, başarısız eylemlerin hata ayıklaması ve ajan aktivitelerinin bir zaman çizelgesini koruma.
Bir ajan mimarisinde olay bilgisi hafızası bir günlük (log) olarak işlev görür. Bir ajan "Sunucuyu yeniden başlatmayı daha önce denedim mi?" diye sorduğunda, anlamsal benzerliğe değil, geçmiş eylemlerin kronolojik bir listesine ihtiyaç duyar. Bu genellikle kayan pencere arabelleği veya zaman serisi veritabanı kullanılarak uygulanır.
Hibrit Bir Sistem Mimarileştirme
En sağlam uzun vadeli ajanlar hibrit bir yaklaşım kullanır. Vektör hafızası "bilgi tabanını" sağlarken, olay bilgisi hafızası "durumu" sağlar. Her ikisini sentezleyerek, hem bilgilendirici hem de ilgili zengin bir bağlam penceresi oluşturabiliriz.
Tipik bir mimari aşağıdaki gibi işler:
- Kodlama: Kullanıcı sorguları vektör araması için gömülür; etkileşimler olay bilgisi depolaması için günlüğe kaydedilir.
- Erişim: LLM ajanı iki paralel erişimi tetikler: Gerçekler için anlamsal arama ve yakın olaylar için zaman bazlı filtreleme.
- Sıralama Yeniden Yapma: Hafif bir yeniden sıralayıcı (Cohere veya BGE gibi), her iki sonuç kümesini de mevcut sorguyla ilgililiği açısından puanlar.
- Sentez: LLM, erişilen gerçekleri (vektörden) ve olayları (olay bilgisi hafızasından) birleştirerek bir yanıt oluşturur.
Ölçeklenebilirlik İçin Pratik Düşünceler
Bu mimariyi ölçeklendirirken aşağıdakileri göz önünde bulundurun:
- Hafıza Sönümlemesi: Vektör puanları için sönümleme işlevi uygulayarak yakın geçmişteki veya yüksek etkisi olan bilgileri önceliklendirin.
- Özetleme: Bağlam alanını kaydetmek için olay günlüklerini periyodik olarak soyutlanmış olaylara özetleyin. Örneğin, her API çağrısını depolamak yerine, "API çağrısı saat 10:00'da başarılı oldu" gibi depolayın.
- Hiyerarşik İndeksleme: Büyük bilgi tabanları için arama gecikmesini azaltmak üzere hiyerarşik vektör indeksleri kullanın.
Sonuç
Uzun vadeli AI ajanları geliştirmek sadece daha büyük modellerle ilgili değildir; daha iyi hafıza mimarisiyle ilgilidir. Vektör hafızası anlamsal derinlik sunarken, olay bilgisi hafızası kronolojik bağlam sunar. Bu paradigmaları birleştirerek geliştiriciler, yalnızca bilgili olmakla kalmayıp kendi geçmişlerini ve durumlarını da farkında olan ajanlar oluşturabilir. Daha otonom sistemlere doğru ilerledikçe, bu ayrımı ustalaşmak, güvenilir, ölçeklenebilir ve zeki AI uygulamaları oluşturmak için kritik olacaktır.