Technical Tutorials

Nesnelerin İnterneti (IoT) ve Yapay Zeka'nın birleşimi, veri işleme biçimimizi yeniden şekillendiriyor. Ancak, benzerlik araması için yüksek boyutlu vektör gömme verilerini buluta göndermek gecikmeye ve gizlilik endişelerine yol açar. Bu yazı, sınırlı IoT cihazlarında doğrudan çalışan hafif vektör veritabanları oluşturmak için TensorFlow Lite'ın verimliliğinden yararlanarak, kenar tarafında ölçeklenebilir vektör araması için sağlam bir mimariyi inceliyor.

Kenar AI'nın Zorluğu

Pinecone veya Milvus gibi geleneksel vektör veritabanları önemli miktarda hesaplama kaynağı gerektirir. Sınırlı RAM'e sahip ve pil ile çalışan bir kenar cihazı için bu çözümler pratik değildir. Amaç, yaklaşık en yakın komşu (ANN) aramalarını yerel olarak gerçekleştirmektir. Bu yaklaşım, bant genişliği kullanımını minimize eder, veri gizliliğini sağlar ve ağdan bağlantı kesildiğinde bile gerçek zamanlı çıkarım yapılmasına olanak tanır.

Doğru Araç Seçimi

TensorFlow Lite (TFLite), makine öğrenimi modellerini mobil ve gömülü cihazlara dağıtmak için tercih edilen çerçevedir. TFLite temel olarak çıkarım için bilinse de, ekosistemi verimli sayısal hesaplamaları destekler. Hiyerarşik Gezinilebilir Küçük Dünya (HNSW) veya Basit Düz İndeks gibi hafif bir ANN algoritmasını entegre ederek işlevsel bir vektör deposu oluşturabiliriz. Bu, geliştiricilerin tam bir veritabanı sunucusunun yükü olmadan gömme verilerini indekslemelerine ve sorgulamalarına olanak tanır.

Uygulama Stratejisi

Bunu uygulamak için öncelikle önceden eğitilmiş bir model kullanarak gömme verileri oluşturuyoruz. Ardından, bu modeli dağıtım için TFLite formatına dönüştürüyoruz. Aşağıda, kenar ortamında kullanılmak üzere standart bir Keras modelinin nasıl dönüştürüleceğini gösteren basitleştirilmiş bir Python örneği bulunmaktadır.

import tensorflow as tf

# Önceden eğitilmiş bir modeli yükle
base_model = tf.keras.applications.MobileNetV2(input_shape=(224, 224, 3), include_top=False, weights='imagenet')
base_model.trainable = False

# Gömme verilerini elde etmek için çıktıyı düzleştir
model = tf.keras.Sequential([
  base_model,
  tf.keras.layers.GlobalAveragePooling2D(),
  tf.keras.layers.Dense(128) # Kenar verimliliği için boyut azaltma
])

# TFLite formatına dönüştür
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

# Modeli kaydet
with open('embedding_model.tflite', 'wb') as f:
  f.write(tflite_model)

Vektör İndeksinin Entegrasyonu

Model dağıtıldıktan sonra, kenar cihazı indeksi yönetmek zorundadır. Basit bir yaklaşım, vektörleri bellekte saklamak ve küçük veri setleri için kaba kuvvet araması kullanmak veya daha iyi ölçeklenebilirlik için C++'ta hafif bir HNSW indeksi uygulamaktır. Anahtar, bellek kullanımını arama hızıyla dengelemektir. Çok sınırlı kaynaklara sahip cihazlar için nicelleme teknikleri, model boyutunu ve hesaplama yükünü daha da azaltabilir.

// IoT cihazında yerel arama için sahte kod
def search_edge(query_vector, index_db):
    # TFLite modelini yükle
    interpreter = tf.lite.Interpreter(model_path="embedding_model.tllite")
    interpreter.allocate_tensors()
    
    # Tüm saklanan vektörlere olan mesafeyi hesapla
    min_distance = infinity
    best_match = None
    
    for id, stored_vector in index_db:
        distance = cosine_similarity(query_vector, stored_vector)
        if distance < min_distance:
            min_distance = distance
            best_match = id
            
    return best_match

Sonuç

Kenar tarafında vektör araması dağıtmak yalnızca bulut kaynaklarını devretmekle ilgili değildir; daha akıllı, hızlı ve gizli cihazlar oluşturmakla ilgilidir. TensorFlow Lite'tan yararlanarak geliştiriciler, ciddi kısıtlamalara sahip donanımlarda verimli çalışan ölçeklenebilir çözümler oluşturabilir. IoT ekosistemleri büyüdükçe, bu yaklaşım duyarlı ve akıllı kenar uygulamaları oluşturmak için temel hale gelecektir.