Technical Tutorials

Onlarca yıl boyunca makine öğrenmesindeki baskın paradigma tepkiseldi. Büyük Dil Modelleri (LLM'ler) veya görüntü sınıflandırıcıları gibi sistemler, eğitim verisinde bulunan statik kalıplara dayanarak girdileri işler ve çıktılar üretir. Ancak gerçek Yapay Genel Zeka (AGI), kalıp eşleştirmeden fazlasını gerektirir; anlamayı gerektirir. Dünyayı anlamak için bir ajan, bir sonraki adımın ne olacağını tahmin edebilmelidir. Bu yetenek, Dünya Modelleri'nin temelini oluşturur.

Bu yazıda, dünya modellerinin arkasındaki teknik mimariyi, bunların standart pekiştirmeli öğrenme ajanlarından nasıl farklılaştığını ve neden somutlaştırılmış yapay zekaya (embodied AI) yönelik kritik bir sıçrama olduğunu keşfedeceğiz.

Dünya Modeli Nedir?

Bir dünya modeli, bir ajanın gelecekteki durumları ve sonuçları simüle etmesine olanak tanıyan ortamın kompakt bir iç temsilidir. Ajan, her karar için fiziksel veya dijital dünya ile doğrudan etkileşim kurmak yerine, eylemlerini iç simülasyonu içinde ilerletir. Bu, örnek karmaşıklığını azaltır ve gerçek dünyada sonuçları olmadan "karşıt olgu" (counterfactual) muhakemesi yapmaya olanak tanır—yani "ya şöyle olsaydı?" sorusunu sorabilir.

Bu kavram, DeepMind tarafından Derin Pekiştirmeli Öğrenme İçin Hayal Gücüyle Zenginleştirilmiş Ajanlar (2018) gibi makalelerde ünlü hale getirildi. Temel içgörü, bir ajan bir dinamik model öğrenerek gizli uzayda planlama yapabileceği ve arama maliyetini büyük ölçüde düşürebileceğidir.

Mimari Bileşenler

Güçlü bir dünya modeli oluşturmak genellikle üç ana sinir ağı bileşeni içerir:

Önleyici (Encoder): Yüksek boyutlu gözlemleri (görüntüler veya sensör verileri gibi) bir gizli vektöre sıkıştırır.
Dinamik Model: Mevcut gizli durumu ve alınan eylemi vererek bir sonraki gizli durumu tahmin eder.
Çözücü (Decoder): Eğitim sinyali sağlamak (yeniden yapılandırma kaybı) için gözlemi gizli durumdan yeniden oluşturur.

Yeniden yapılandırma hatasını minimize ederek, önleyici geleceği tahmin etmek için yalnızca ilgili bilgileri korumayı ve gürültüyü elemeyi öğrenir.

PyTorch'ta Temel Bir Dünya Modelinin Uygulanması

Aşağıda, bir Dünya Modeli dinamik katmanının basitleştirilmiş bir PyTorch uygulaması bulunmaktadır. Bu örnekte, ayrık bir ızgara dünyasında bir sonraki durumu tahmin etmek için basit Çok Katmanlı Algılayıcı (MLP) kullanıyoruz.

import torch
import torch.nn as nn

class WorldModelDynamics(nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim):
        super(WorldModelDynamics, self).__init__()
        # Dinamik model bir sonraki gizli durumu tahmin eder
        self.net = nn.Sequential(
            nn.Linear(input_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, output_dim)
        )

    def forward(self, latent_state, action):
        """
        Args:
            latent_state: Mevcut durum temsili [batch_size, latent_dim]
            action: Alınan eylem [batch_size, action_dim]
        Returns:
            predicted_next_state: Bir sonraki durumun tahmini [batch_size, output_dim]
        """
        # Geçiş tahmini için durumu ve eylemi birleştir
        input_tensor = torch.cat((latent_state, action), dim=-1)
        return self.net(input_tensor)

# Örnek Kullanım
# 64 boyutlu bir gizli uzay, 4 boyutlu eylemler ve 64 boyutlu bir sonraki durum varsayalım
model = WorldModelDynamics(input_dim=68, hidden_dim=128, output_dim=64)
current_state = torch.randn(32, 64)
action = torch.randint(0, 4, (32, 4)).float()
predicted_next = model(current_state, action)

Bu AGI İçin Neden Önemli?

PPO veya DQN gibi geleneksel pekiştirmeli öğrenme algoritmaları, ortamla tekrar tekrar etkileşim kurmaları gerektiğinden basit bir görevi öğrenmek için milyonlarca adım gerektirebilir. Dünya modelleri, ajanların kendi hayali deneyimleri üzerinde eğitim almasına olanak tanır. Bu, bir satranç büyük ustasının tahtaya dokunmadan zihninde binlerce oyun oynamasına benzer.

Ayrıca, dünya modelleri az örnekle öğrenmeyi (few-shot learning) mümkün kılar. Bir ajan, iç modeli aracılığıyla yeni bir ortamın fizik kurallarını ve kurallarını anlıyorsa, deneme-yanılma yoluyla sıfırdan öğrenen bir modele kıyasla çok daha hızlı adapte olabilir.

Sonuç

Dünya modelleri, algı, tahmin ve planlamanın birleşimini temsil eder. Muhakeme yükünü açık kurallar kümesinden öğrenilen iç simülasyonlara kaydırarak, genelleme yapabilen, muhakeme yürütebilen ve açık uçlu ortamlarda çalışabilen yapay zeka sistemlerine bir adım daha yaklaşıyoruz. Araştırmalar ilerledikçe, dünya modellerinin yalnızca robotikte değil, kendilerine fiziksel ve mantıksal sonuçları yanıt vermeden önce simüle etmelerini sağlayarak LLM'lerin kendisinde de entegre edildiğini görmeyi bekleyebiliriz.