Technical Tutorials

Giriş

Yapay Genel Zeka (AGI) geliştirmek, eşi benzeri görülmemiş güvenlik ve istikrar gerektirir. Geleneksel Pekiştirmeli Öğrenme (RL), ajanların ortamda keşif yapmasına ve yüksek ödüllü eylemleri bulmasına olanak tanır, ancak aynı zamanda felaketçi başarısızlık riski taşır. AGI bağlamında, gerçek dünyada deneme-yanılma lüksümüz yoktur. Çevrimdışı Pekiştirmeli Öğrenme (Offline RL), bu sorunu statik, önceden toplanmış veri setlerinden öğrenerek çözer. Ancak önemli bir zorluk devam etmektedir: dağılım kayması. Ajan, veri setinin desteğinin dışındaki eylemleri seçtiğinde, politikanın değer tahminleri güvenilirliğini yitirir ve bu durum potansiyel olarak güvensiz davranışlara yol açabilir. Bu yazı, statik veri setlerinde bu riski azaltmak için kullanılan teknikleri ele almaktadır.

Dağılım Kayması Sorunu

Çevrimdışı ortamlarda, ajan yeni ödüller için ortama sorgu gönderemez. Ajan, belirli bir durum $s$ için veri seti $D$'de nadiren veya hiç görülmemiş bir eylem $a$ önerdiğinde, Q-fonksiyonu $Q(s, a)$ temelde bir dışa vurum (extrapolation) yapar. Bu dışa vurum, gözlemlenmemiş eylemlere yüksek değerler atayarak iyimser olabilir. AGI güvenliği için bu iyimserlik tehlikelidir; ajanı, teorik olarak yüksek ödüllü görünen ancak pratikte felaketçi sonuçlar doğuran eylemleri seçmeye yönlendirebilir. Veri desteğinden uzak eylemleri cezalandıran "kötümser" algoritmalarımıza ihtiyacımız var.

CQL: Muhafazakâr Q-Öğrenme

Bu sorunu ele almak için önde gelen yaklaşımlardan biri Muhafazakâr Q-Öğrenme (CQL)'dir. CQL, veri setindeki eylemlerin Q-değerlerinin yüksek olmasını teşvik ederken, dağılım dışı eylemlerin Q-değerlerini düşük tutan bir düzenleme terimi ekleyerek standart Bellman güncellemesini değiştirir. Temelde, Q-fonksiyonu için bir alt sınır öğrenir. İşte PyTorch'ta CQL kayıp fonksiyonunun basitleştirilmiş kavramsal bir uygulaması:


import torch
import torch.nn.functional as F

def cql_loss(q_values, q_values_min, q_values_data, alpha_cql):
    """
    q_values: Tüm olası eylemler için Q(s, a)
    q_values_min: Eylemler üzerinden Q(s, a) min değeri
    q_values_data: Veri setinden gelen eylemler için Q(s, a_data)
    alpha_cql: düzenleme ağırlığı
    """
    # Standart Bellman kayıp terimi eğitim döngüsünün başka bir yerinde işlenir
    # Bu, CQL'e özgü düzenleme terimidir
    
    # Veri eylemleri için yüksek Q teşvik et
    q_data_loss = -q_values_data.mean()
    
    # Diğer eylemler için düşük Q teşvik et (min-max normalizasyonu yoluyla)
    # Eylemler üzerinden max - eylemler üzerinden min
    q_all_loss = q_values.max(dim=1).values.mean() - q_values_min.mean()
    
    # Birleştir
    loss_cql = alpha_cql * (q_all_loss - q_data_loss)
    return loss_cql

# Eğitim döngüsünde kullanım (basitleştirilmiş)
# total_loss = td_loss + cql_loss(...)

Bu kaybı minimize ederek ajan muhafazakâr hale gelir. Biraz farklı bir eylem teorik olarak daha yüksek ödül getirebilecek olsa bile, veri setindeki eylemlere benzer eylemleri tercih eder. Bu ödün, güvenlik için kritiktir: sağlamlık ve öngörülebilirliği sağlamak için potansiyel olarak sub-optimal bir politikayı kabul ederiz.

Gizli Q-Öğrenme (IQL)

Bir diğer güçlü yöntem ise Gizli Q-Öğrenme (IQL)'dir. IQL, iki aşamalı bir süreç kullanarak dağılım dışı eylemler için Q-değerlerini değerlendirmekten tamamen kaçınır. İlk olarak, davranış politikası altındaki beklenen getiri için bir üst sınır olan bir değer fonksiyonu $V(s)$ öğrenir. Ardından, bu değer fonksiyonunu hedefleyen bir Q-fonksiyonu öğrenir, ancak yalnızca veri setinden örneklenen eylemler için. Bu, Q-fonksiyonunun, veriden türetilen politika tarafından seçilmesi olası olmayan eylemler için değer tahmini yapmaya zorlanmadığı anlamına gelir. IQL'nin CQL'ye göre temel avantajı, hassas olabilecek bir düzenleme katsayısı (örneğin $\alpha_{CQL}$) ayarlaması gerektirmemesidir. IQL, gözlemlenen verinin "güvenli" zarfı içinde kalarak performansı ve güvenliği doğal olarak dengeler.

Pratik Uygulama İpuçları

Bu yöntemleri AGI eğitimi için uygularken: 1. **Veri Seti Kalitesi Krallıktır:** Statik veri setinizin durum uzayını yeterince kapsadığından emin olun. Verideki boşluklar, güvenlikte boşluklara yol açacaktır. 2. **Hiperparametre Hassasiyeti:** IQL ile bile, Beklenti (Exp) ağırlıklandırması için sıcaklık gibi hiperparametreler, ajanın ne kadar muhafazakâr olacağını etkileyebilir. Varsayılan değerlerle başlayın ve dikkatli bir şekilde ayarlayın. 3. **Değerlendirme Metrikleri:** Yalnızca getiriyi ölçmeyin. Politikanın "destek kapsamını" ölçün. Öğrenilen politika ile davranış politikası arasındaki Kullback-Leibler ayrılığı gibi metrikleri kullanın. Büyük bir ayrım, potansiyel güvenlik risklerini gösterir.

Sonuç

Çevrimdışı RL, canlı keşif ihtiyacını ortadan kaldırarak daha güvenli AGI eğitimi için bir yol sağlar. Ancak, dağılım kayması sorununu ortaya çıkarır. CQL veya IQL gibi muhafazakâr yöntemleri kullanarak, hem yüksek performanslı hem de güvenli, bilinen ve doğrulanmış verinin sınırları içinde kalan ajanlar eğitebiliriz. AGI'ye doğru ilerledikçe, bu güvenlik mekanizmalarını önceliklendirmek yalnızca teknik bir ayrıntı değil, temel bir gerekliliktir. Gelecekteki çalışmalar, belirsizlik tahminlerine dayalı olarak muhafazakârlığı dinamik olarak ayarlayabilen adaptif düzenleme tekniklerine odaklanmalı ve performans ile güvenlik arasındaki farkı daha da kapatmalıdır.