Technical Tutorials

Yapay Zeka'nın hızla evrilen dünyasında, bağlamı anlama yeteneği hayati önem taşır. Geriye Dönük Üretimi Artıran Üretim (RAG) hatları gibi ince ayrıntılı anlayış gerektiren uygulamalar için geleneksel anahtar kelime tabanlı arama motorları artık yeterli değildir. Weaviate, yapay zeka tabanlı uygulamalar oluşturmak için hızla bir temel taşı haline gelen açık kaynaklı bir vektör veritabanıdır. Bu yazıda, Weaviate'i benzersiz kılan özellikler, temel mimarisi ve etkili bir şekilde nasıl uygulanacağı ele alınmaktadır.

Weaviate Nedir?

Weaviate sadece bir vektör deposu değildir; hem vektör hem de geleneksel veriler için inşa edilmiş hiper-anlamsal bir arama motorudur. Sadece gömme (embedding) verilerini işleyen daha basit vektör veritabanlarının aksine, Weaviate vektörleştirilmiş verileri geleneksel meta verilerle birlikte saklamanıza olanak tanır. Bu hibrit yetenek, yalnızca kosinüs benzerliğine dayananın ötesinde güçlü filtreleme ve sorgulama özellikleri sağlar. Mimarisi, verinin eklenir eklenmez aranabilir olmasını sağlayan gerçek zamanlı dizinleme için tasarlanmıştır; bu da dinamik uygulamalar için idealdir.

Weaviate'in öne çıkan özelliklerinden biri "Modüller"in kullanımınıdır. Bunlar, işlevselliği genişleten takılabilir bileşenlerdir. Örneğin, görsellerden otomatik olarak meta veri çıkarmak için bir görüntü modülü takabilir veya veritabanı katmanında doğrudan metin özetleme yapmak için bir üretici modül kullanabilirsiniz. Bu modülerlik, görevleri veritabanına devrederek uygulama yığınınızın karmaşıklığını azaltır.

Temel Kavramlar: Sınıflar, Nesneler ve Vektörler

Weaviate'i anlamak için veri modelini kavramak gerekir. Veri, SQL veritabanlarındaki tablolarla benzerlik gösteren ancak ek anlamsal yapıya sahip olan sınıflara organize edilir. Her sınıf, asıl veriyi barındıran nesneler içerir. Kritik olarak, Weaviate otomatik veya manuel olarak vektörleştirilebilen özellikler tanımlamanıza izin verir. Veri eklediğinizde Weaviate, gömme (embedding) oluşturmak için bir entegrasyon (OpenAI, Hugging Face veya yerel modeller gibi) kullanabilir veya kendi vektörlerinizi sağlayabilirsiniz.

Python ile Pratik Uygulama

Weaviate'in yeteneklerini göstermek için, blog gönderilerini saklamak için basit bir koleksiyon kurma ve anlamsal arama yapma konusunda pratik bir örneğe bakalacağız. Temiz, nesne yönelimli bir API sağlayan resmi Python istemcisini kullanacağız.

Öncelikle, kütüphaneyi pip aracılığıyla yüklediğinizden emin olun:

pip install weaviate-client

Ardından, yerel bir Weaviate örneğine nasıl bağlanılacağı ve bir koleksiyonun nasıl oluşturulacağı aşağıdadır:

import weaviate
from weaviate.classes.config import Configure

# Yerel Weaviate örneğine bağlan
client = weaviate.connect_to_local()

# Koleksiyonu tanımla
collection = client.collections.create(
    name="Article",
    vectorizer_config=Configure.Vectorizer.text2vec_openai(
        model="text-embedding-3-small"
    ),
    properties=[
        weaviate.classes Property(name="title", data_type=weaviate.DataType.TEXT),
        weaviate.classes Property(name="content", data_type=weaviate.DataType.TEXT),
    ]
)

# Veri ekle
collection.data.insert({
    "title": "Weaviate'e Giriş",
    "content": "Weaviate, AI uygulamaları için güçlü bir vektör veritabanıdır."
})

# Anlamsal arama yap
results = collection.query.near_text(
    query="vektör veritabanları",
    limit=1
)

for r in results:
    print(r.properties)

Bu örnekte, Weaviate belirtilen OpenAI modelini kullanarak "content" özelliği için gömleme (embedding) sürecini otomatik olarak yönetir. Sorgu, vektör yakınlığına dayanarak en anlamsal olarak ilgili makaleyi getirir. Bu sorunsuz entegrasyon, RAG uygulamaları için geliştirme iş akışını önemli ölçüde basitleştirir.

Hibrit Arama ve Filtreleme

Saf vektör veritabanlarının yaygın bir sınırlaması, tam eşleşme filtrelerini verimli bir şekilde gerçekleştirememesidir. Weaviate, vektör benzerliğini anahtar kelime aramasıyla (BM25) birleştiren hibrit aramayı destekleyerek bu sorunu çözer. Bu sayede, meta verilere (örneğin tarih, yazar) göre sonuçları filtrelerken aynı zamanda anlamsal uygunluğu da dikkate alabilirsiniz. Örneğin, "2023" yılında "John Doe" tarafından yazılan "AI" hakkında makaleleri tek bir sorguyla arayabilir ve yüksek doğruluk ile hatasızlık (recall) sağlayabilirsiniz.

Sonuç

Weaviate, vektör veritabanı ekosisteminde sağlam, modüler ve hibrit bir yaklaşım sunarak öne çıkar. Gerçek zamanlı verileri işleme, LLM'lerle sorunsuz entegrasyon sağlama ve karmaşık filtrelemeyi destekleme yeteneği, AI destekli uygulamalar geliştiren orta düzeyden ileri düzey geliştiriciler için mükemmel bir seçim yapar. İster bir öneri motoru, ister bir sohbet botu arka ucu, ister bir bilgi tabanı oluşturuyor olun, Weaviate yapılandırılmamış verileri hassasiyet ve hızla yönetmek için gerekli araçları sağlar. AI uygulamaları olgunlaşmaya devam ettikçe, anlamsal bilgisi olan bir veritabanından yararlanmak artık isteğe bağlı değil, zorunludur.