Technical Tutorials

Otonom sistemler kontrollü ortamlardan karmaşık, dinamik dünyalara geçiş yaparken, görsel akışları işlerken doğal dil talimatlarını anlama yeteneği hayati önem kazanır. Video-dil hizalaması olarak bilinen bu yetenek, bir agentin "kırmızı bir araba görene kadar ileri yürü" gibi komutları, zamansal görsel verileri anlamsal metin belirteçleriyle senkronize ederek ayrıştırmasını sağlar.

Bu yazıda, bu hizalamayı gerçek zamanlı olarak uygulamak için gereken mimari desenleri keşfedeceğiz. Kenar cihazlarda veya yüksek frekanslı simülasyon döngülerinde dağıtım için uygun olan, PyTorch kullanan hafif bir çoklu modalite encoder yaklaşımına odaklanacağız.

Mimari: Uzayı ve Zamanı Bağlamak

Geleneksel görüntü-metin modelleri (CLIP gibi) genellikle zamansal farkındalığı eksik oldukları için navigasyon görevlerinde başarısız olur. Bir otonom agentin *hareketi* ve *sıralamayı* anlaması gerekir. Bunu başarmak için iki akışlı bir mimari kullanıyoruz:

Görsel Akış: Ardışık karelerden özellikler çıkaran bir uzamsal-zamansal encoder (örneğin, VideoMAE veya SlowFast).
Dilsel Akış: Talimatı belirteçlere ayıran transformer tabanlı bir encoder (örneğin, BERT veya RoBERTa).
Birleştirme Katmanı: Görsel belirteçleri dilsel gömme vektörleriyle hizalayan bir çapraz dikkat (cross-attention) mekanizması.

Gerçek zamanlı performans için, devasa modellerin tam ince ayarını (fine-tuning) yapmaktan kaçınıyoruz. Bunun yerine, donuk (frozen) bir vizyon omurgası kullanıyor ve yalnızca projeksiyon başlıklarını ve birleştirme katmanlarını eğitiyoruz.

Çoklu Modalite Birleştirme Katmanının Uygulanması

Hizalama stratejimizin özü, basitleştirilmiş bir çapraz dikkat modülünde yatar. Aşağıda, PyTorch kullanılarak yapılan pratik bir uygulama bulunmaktadır. Bu kod, görsel özelliklerin metin gömme vektörlerine dinamik olarak nasıl eşleneceğini gösterir.

import torch
import torch.nn as nn
import torch.nn.functional as F

class MultimodalFusion(nn.Module):
    def __init__(self, vision_dim, text_dim, hidden_dim):
        super().__init__()
        self.vision_proj = nn.Linear(vision_dim, hidden_dim)
        self.text_proj = nn.Linear(text_dim, hidden_dim)
        self.cross_attn = nn.MultiheadAttention(
            embed_dim=hidden_dim, 
            num_heads=8, 
            batch_first=True
        )
        self.norm1 = nn.LayerNorm(hidden_dim)
        self.norm2 = nn.LayerNorm(hidden_dim)

    def forward(self, video_features, text_embeddings):
        """
        video_features: (B, T, V_dim) - Batch, Zaman, Görsel_B boyutu
        text_embeddings: (B, S, T_dim) - Batch, Sıra, Metin_B boyutu
        """
        # Her iki modaliteyi ortak bir alana projekte et
        v_proj = self.norm1(self.vision_proj(video_features))
        t_proj = self.norm2(self.text_proj(text_embeddings))

        # Çapraz dikkat: Metin, görsel özellikleri sorgular
        # Çıktı şekli: (B, S, hidden_dim)
        aligned_features, _ = self.cross_attn(
            query=t_proj, 
            key=v_proj, 
            value=v_proj
        )
        
        return aligned_features

Navigasyon Görevleri İçin Eğitim Stratejisi

Böyle bir modeli eğitmek, CLIP'e benzer ancak ardışık veri için uyarlanmış bir kontrastif kayıp fonksiyonu gerektirir. Ankra mevcut video kare dizisi, pozitif eşleşen metin talimatı ve negatif rastgele bir engelleyici talimat olan bir üçlü kayıp (triplet loss) tanımlıyoruz.

Kayıp fonksiyonu, doğru (video, metin) çiftleri arasındaki mesafeyi minimize ederken yanlış çiftler arasındaki mesafeyi maksimize eder. Navigasyon agentleri için, tahmin edilen yolun komutun anlamsal niyetiyle uyumlu olmasını sağlamak üzere bir geometrik ceza ekliyoruz.

def contrastive_navigation_loss(video_embs, text_embs, margin=0.5):
    # Gömme vektörlerini normalize et
    video_embs = F.normalize(video_embs, p=2, dim=1)
    text_embs = F.normalize(text_embs, p=2, dim=1)
    
    # Benzerlik matrisini hesapla
    sim_matrix = torch.matmul(video_embs, text_embs.T)
    
    # Pozitif çiftler için etiketler (köşegen elemanlar)
    labels = torch.arange(video_embs.size(0)).to(video_embs.device)
    
    # InfoNCE kaybını hesapla
    temperature = 0.07
    logit_scale = torch.log(torch.tensor(1.0 / temperature))
    logits = logit_scale * sim_matrix
    
    loss = F.cross_entropy(logits, labels)
    return loss

Dağıtımdaki Zorluklar

Mimari sağlam olsa da, gerçek zamanlı dağıtım gecikme zorlukları getirir. Temel optimizasyonlar şunları içerir:

Kare Örnekleme: Her kareyi işlemek yerine, CPU/GPU'yu aşırı yüklemeyecek şekilde zamansal bağlamı korumak için görsel encoder için 10-15 FPS'de örnekleme yapın.
Quantization (Ölçeklendirme): Model boyutunu minimum doğruluk kaybıyla yaklaşık %75 azaltmak için metin encoder ve projeksiyon başlıklarına INT8 quantization uygulayın.
Önbellekleme: Statik sahneler için görsel özellikleri önbelleğe alın. Sadece optik akış aracılığıyla önemli hareket algılandığında yeniden kodlayın.

Sonuç

Gerçek zamanlı video-dil hizalaması, insan niyetini anlayan gerçekten otonom robotlar için kritik bir adımdır. Verimli çoklu modalite birleştirmesinden ve kontrastif öğrenmeden yararlanarak geliştiriciler, karmaşık ortamlarda hem hassasiyet hem de anlamsal anlayışla navigasyon yapabilen agentler oluşturabilir. Donanım gelişmeye devam ettikçe, bu modeller robotik yığınlarında standart hale gelecek ve daha sezgisel insan-robot işbirliğini mümkün kılacaktır.

Tek bir odaya yönelik navigasyon göreviyle küçük başlayın, birleştirme katmanlarıyla deney yapın ve karmaşıklığı kademeli olarak artırın. Otonom agentlerin geleceği sadece görmekle ilgili değil; gördüklerini anlamakla ilgilidir.