Technical Tutorials

Yapay Zeka ve Makine Öğreniminin hızla gelişen dünyasında, bilgiye anahtar kelimelerden ziyade anlamına göre erişim sağlama yeteneği artık bir lüks değil, bir zorunluluktur. Weaviate, yapay zeka iş akışlarına sorunsuz entegrasyon sağlamak üzere tasarlanmış, açık kaynaklı ve bulut tabanlı bir vektör veritabanıdır. İster Bir Getirme-Artırılmış Üretim (RAG) hattı oluşturuyor, ister anlamsal arama uyguluyor olun, ya da bir öneri motorunu güçlendiriyor olun; Weaviate, sağlam, ölçeklenebilir ve geliştirici dostu bir çözüm sunar.

Neden Weaviate Seçmelisiniz?

Geleneksel ilişkisel veritabanları yapılandırılmış verilerde mükemmel performans gösterirken, modern yapay zekayı besleyen yapılandırılmamış verilerle mücadele eder. Vektör veritabanları, metin, görüntü veya seslerden türetilen yüksek boyutlu vektörleri saklayarak bu sorunu çözer. Weaviate, benzersiz hibrit arama yetenekleri ve veri modellemeye yönelik "nesne yönelimli" yaklaşımıyla, Pinecone, Milvus ve Chroma ile rekabet ettiği kalabalık vektör veritabanları alanında öne çıkar.

Temel ayırt edici özellikler şunlardır:

Hibrit Arama: Weaviate, yoğun vektör aramasını (anlamsal benzerlik) seyrek anahtar kelime aramasıyla (BM25) birleştirir. Bu sayede, bağlamı anlamanın yanı sıra hassas anahtar kelime eşleşmesini de koruyarak her iki dünyanın en iyisinden yararlanabilirsiniz.
Yerleşik Python/JavaScript İstemcisi: LangChain, LlamaIndex ve PyTorch gibi popüler çerçevelerle entegrasyonu kolaylaştıran mükemmel SDK'lar sağlar.
GraphQL Entegrasyonu: Weaviate, API'sini GraphQL aracılığıyla sunar; bu da karmaşık yapay zeka kullanım durumları için özellikle faydalı olan son derece esnek ve hassas veri sorgulamaya olanak tanır.
Çok Modlu Destek: Metin, video, görüntü ve ses dahil olmak üzere çeşitli veri türlerini kutudan çıkar çıkmaz destekler.

İlk Weaviate Örneğinizi Kurma

Weaviate, kolayca dağıtılmak üzere tasarlanmıştır. Başlamanın en basit yolu Docker üzerinden gerçekleşir; bu, yerel bir örneği hemen ayağa kaldırır. Bu, geliştirme ve prototipleme için mükemmeldir.

docker run -d --name weaviate-example \
  -p 8080:8080 \
  -e ENABLE_MODULES="text2vec-openai" \
  cr.weaviate.io/semitechnologies/weaviate:1.24.5

Bu örnekte, Weaviate'ın OpenAI'nin gömme modellerini kullanarak metin verilerini otomatik olarak gömmesine olanak tanıyan text2vec-openai modülünü etkinleştiriyoruz. Üretim ortamları için kendi barındırılan gömme modellerini veya diğer sağlayıcıları tercih edebilirsiniz, ancak bu kurulum başlangıç geliştirme sürecini önemli ölçüde hızlandırır.

Veri Şemalarının Tanımlanması ve Veri Alımı

Weaviate, nesne yönelimli bir yaklaşımı teşvik eder. Veri almadan önce, özellikler ve vektörlerle sınıflar (SQL tablolarına benzer) tanımlarsınız. Bu şema, verilerinizin nasıl yapılandırılacağını ve dizine ekleneceğini belirler.

Ürün öneri sistemi oluşturduğunuz bir senaryoyu ele alalım. Bir Product (Ürün) sınıfı tanımlarsınız:

from weaviate import Client
import weaviate.classes as wvc

# Weaviate'a bağlan
client = Client("http://localhost:8080")

# Şemayı tanımla
client.schema.create_class({
    "class": "Product",
    "properties": [
        {"name": "name", "dataType": ["string"]},
        {"name": "description", "dataType": ["text"]},
        {"name": "price", "dataType": ["number"]}
    ],
    "vectorizer": "text2vec-openai", # 'description' alanını otomatik olarak vektörleştirir
    "vectorIndexConfig": {"distance": "cosine"}
})

Şema oluşturulduktan sonra veri alımı basittir. Modüller etkinse, Weaviate vektörleştirme işlemini arka planda halleder. JSON nesnelerini eklemeniz yeterlidir; vektör veritabanı geri kalanını halleder.

Hibrit Arama Yapma

Weaviate'ın gerçek gücü, aramalar gerçekleştirirken ortaya çıkar. Sadece anlamsal benzerliğe bakan saf vektör veritabanlarının aksine, Weaviate anlamsal ve anahtar kelime aramalarını harmanlamanıza olanak tanır.

# Hibrit bir arama sorgusu tanımla
result = (
    client.query.get("Product", ["name", "description", "price"])
    .with_near_text({"concepts": ["running shoes"]})
    .with_hybrid(query="comfortable", alpha=0.5) # %50 anlamsal, %50 anahtar kelime
    .do()
)

print(result)

Bu kod parçacığında, "running shoes" (koşu ayakkabıları) terimini anlamsal olarak arıyoruz, ancak "comfortable" (rahat) kelimesini içeren sonuçları da önceliklendiriyoruz. alpha parametresi, vektör benzerliği ile anahtar kelime eşleşmesi arasındaki ağırlığı dengeler. Bu hibrit yaklaşım, doğruluğun önem taşıdığı kurumsal uygulamalar için hayati önem taşır.

Üretim İçin En İyi Uygulamalar

Prototipten üretime geçerken aşağıdakileri göz önünde bulundurun:

Ölçekleme: Weaviate yatay ölçeklemeyi destekler. Yüksek kullanılabilirlik için Kubernetes operatörlerini veya Weaviate Cloud Services (WCS) gibi yönetilen hizmetleri kullanın.
Gömme Modelleri: Alanınızla uyumlu gömme modelleri seçin. Genel metinler için OpenAI veya Cohere modelleri iyi çalışır. Teknik belgeler için, özel korpusunuzda ince ayar yapılmış BERT tabanlı modelleri düşünün.
Filtreleme: Weaviate, vektör aramasından önce ön filtrelemeye olanak tanır. Bu, arama alanını küçültür ve performansı artırır. Örneğin, o alt küme içinde arama yapmadan önce "kategori: elektronik" ile filtreleme yapın.
İzleme: Sorgu gecikmesini ve vektör dizini sağlığını izlemek için gözlemlenebilirlik araçlarını entegre edin. Weaviate, Prometheus ve Grafana ile uyumlu metrik uç noktaları sağlar.

Sonuç

Weaviate, yapılandırılmamış verileri yönetme ve erişme biçimimizde önemli bir ilerlemeyi temsil eder. Vektör aramasının anlamsal anlayışını, anahtar kelime aramasının hassasiyetiyle birleştirerek, yapay zeka uygulamalarının yeni neslini oluşturan geliştiriciler için çok yönlü bir araç sağlar. Açık kaynaklı doğası, sağlam ekosistemi ve kullanım kolaylığı, onu, özel yönetilen hizmetlerin kilitlenmesinden kaçınmak isteyen ekipler için anlamsal arama, RAG veya çok modlu uygulamalar uygulamak için mükemmel bir seçenek haline getirir.

Yapay zeka, yazılım geliştirmenin her yönüne nüfuk etmeye devam ettikçe, Weaviate gibi araçları ustalaşmak sadece bir avantaj değil, aynı zamanda modern mühendisler için temel bir yetkinlik haline geliyor. Yapılandırılmamış verilerinizin tam potansiyelini ortaya çıkarmak için bugün Weaviate ile denemeler yapmaya başlayın.