Technical Tutorials

Yapay zeka ve makine öğreniminin hızla evrilen dünyasında, anlamsal arama yapabilme yeteneği modern uygulamalar için kritik bir özellik haline geldi. Pinecone, Weaviate ve Milvus gibi yüksek boyutlu vektör verilerini işlemek için ortaya çıkan özel vektör veritabanlarına rağmen, dünyanın en popüler açık kaynaklı ilişkisel veritabanının içinde sessizce yer alan güçlü bir alternatif bulunuyor: pgvector.

PostgreSQL ekosistemine yoğun yatırım yapmış geliştiriciler için pgvector, ileriye yönelik pragmatik bir yol sunar. Ayrı bir veritabanı hizmeti yönetmek için gereken operasyonel yükü ortadan kaldırırken, yüksek performanslı benzerlik arama yetenekleri de sağlar. Bu blog yazısı, pgvector'ın ne olduğunu, nasıl çalıştığını ve projelerinizde nasıl uygulayabileceğinizi inceliyor.

pgvector Nedir?

pgvector, vektör benzerlik aramasını destekleyen PostgreSQL için açık kaynaklı bir uzantıdır. Vektörleri mevcut PostgreSQL sunucularınızda doğrudan depolamanıza, indekslemenize ve sorgulamanıza olanak tanır. Vektör yeteneklerini ilişkisel bir veritabanına entegre ederek pgvector, geliştiricilerin yapay zeka destekli özellikler için PostgreSQL'in sağlamlığını, tutarlılığını ve işlemsel bütünlüğünden yararlanmasını sağlar.

Uzantı üç temel mesafe metriğini destekler:

L2 Mesafesi (Öklidyen): Büyüklüğün önemli olduğu yoğun vektörler için en iyisidir.
İç Çarpım (Cosine): Büyüklükten ziyade yönün önemli olduğu metin gömme (embedding) işlemleri için idealdir.
Cosine Mesafesi: Doğal dil işleme (NLP) görevlerinde sıkça kullanılan normalize edilmiş bir varyanttır.

pgvector'a Başlangıç

PostgreSQL'in yüklü olduğunu varsayarsak, pgvector eklemek oldukça basittir. İşletim sisteminizin paket yöneticisi aracılığıyla yükleyebilir veya kaynaktan derleyebilirsiniz. Kurulumdan sonra, uzantıyı veritabanınızda etkinleştirmeniz gerekir.

Kurulum ve Kurulum

-- Veritabanınıza bağlanın
\c my_database;

-- pgvector uzantısını etkinleştirin
CREATE EXTENSION vector;

Uzantıyı etkinleştirdikten sonra, vektörlerinizi depolamak için bir sütun oluşturabilirsiniz. vector veri türü, depolamayı planladığınız vektörlerin boyutunu belirtmenizi gerektirir.

Bir Vektör Sütunu Oluşturma

CREATE TABLE items (
    id SERIAL PRIMARY KEY,
    content TEXT NOT NULL,
    embedding VECTOR(1536) -- OpenAI Ada-002 gömmeleri için
);

Performans İçin İndekslendirme

Kaba kuvvet araması büyük veri setlerinde yavaştır. Ölçeklendirme durumunda milisaniyenin altında gecikme süresi elde etmek için pgvector, özellikle IVFFlat ve HNSW olmak üzere İndeks Arama yapılarını kullanır.

IVFFlat (Düz Ölçeklendirme ile Ters Dosya): Oluşturulması daha hızlıdır ancak sorgu sırasında daha yavaş olabilir. Yaklaşık sonuçların kabul edilebilir olduğu ve disk alanının bir sorun olduğu veri setleri için en iyisidir.
HNSW (Hiyerarşik Gezinilebilir Küçük Dünya): En iyi sorgu performansını ve geri çağırma oranını sunar; bu da onu yüksek iş hacimli uygulamalar için uygun kılar, ancak daha fazla bellek ve depolama alanı gerektirir.

Cosine benzerliliği için bir HNSW indeksi oluşturma örneği aşağıdadır:

CREATE INDEX ON items USING hnsw (embedding vector_cosine_ops);

Benzerlik Araması Yapma

Verileriniz indekslendikten sonra, benzer öğeler için sorgu yapmak sezgisel hale gelir. Cosine mesafesi için ->> operatörünü veya L2 mesafesi için <-> operatörünü kullanabilirsiniz. Aşağıdaki örnek, verilen bir gömmeye en benzer 5 öğeyi bulur.

SELECT id, content
FROM items
ORDER BY embedding <-> '[0.1, 0.2, ..., 0.9]'::vector
LIMIT 5;

Cosine benzerliliği için, daha küçük mesafelerin daha yüksek benzerliği gösterdiğinden, mesafe yerine gerçek benzerlik puanını hesaplamayı tercih edebilirsiniz.

En İyi Uygulamalar ve Dikkat Edilmesi Gerekenler

pgvector güçlü olsa da, her soruna çözüm sunan bir sihirli değnek değildir. Orta düzeyden ileri düzey geliştiriciler için bazı dikkat edilmesi gereken noktalar şunlardır:

Boyut Yönetimi: Gömme modellerinizin tutarlı boyutlarda vektörler ürettiğinden emin olun. Uyumsuz boyutlar, ekleme hatalarına neden olacaktır.
İndeks İnce Ayarı: IVFFlat için lists parametresi, küme sayısını kontrol eder. Daha yüksek bir sayı doğruluğu artırır ancak oluşturma süresini uzatır. HNSW için m ve ef_construction, donanım kısıtlamalarınıza göre ayarlanacak temel parametrelerdir.
ACID Uyumluluğu: Birçok özel vektör veritabanının aksine, pgvector PostgreSQL'in ACID özelliklerinden yararlanır. Bu, vektör verilerinizin ilişkisel verilerinizle tutarlı kalmasını sağlar ve güncellemeleri ile silmeleri basitleştirir.
Ölçeklendirme: pgvector tek düğüm dağıtımları için mükemmel olsa da, vektör aramasını birden fazla düğümde yatay olarak ölçeklendirmek, genellikle parçalama stratejilerini içeren dikkatli planlama gerektirir.

Sonuç

pgvector, vektör veri depolama yaklaşımımızda önemli bir değişimi temsil eder. Vektör yeteneklerini ilişkisel alana getirerek, PostgreSQL'e zaten bağımlı olan ekipler için mimari karmaşıklığı azaltır. Bir öneri motoru, anlamsal arama özelliği veya RAG (Alımla Güçlendirilmiş Üretim) uygulaması oluşturuyor olun, pgvector sağlam, performanslı ve tanıdık bir temel sunar. Yapay zeka ekosistemi olgunlaştıkça, PostgreSQL gibi mevcut altyapıdan yararlanmak, birçok kuruluş için stratejik bir avantaj olmaya devam edecektir.