AGI & Research

Eşiği Tanımlamak: AGI'yi Gelişmiş Dar Yapay Zekadan Ayırt Etmek İçin Operasyonel Metrikler

Yapay Genel Zeka (AGI) etrafındaki tartışma, felsefi spekülasyonlardan mühendislik zorluklarına doğru kaydı. Büyük Dil Modelleri (LLM'ler) ve çok modlu sistemler, izole görevlerde insan düzeyine yaklaştıkça, "gelişmiş dar yapay zeka" ile "genel zeka" arasındaki çizgi giderek daha da bulanıklaşıyor. Geliştiriciler ve araştırmacılar için kritik soru artık sadece bir yapay zekanın ne yapabildiği değil, aynı zamanda yapılandırılmamış alanlarda bunu ne kadar tutarlı ve ne kadar uyumlu bir şekilde yapabildiğidir. Bu gönderi, gerçek genelleştirmeyi sofistike desen eşleştirmeden ayırt etmeye yardımcı olan operasyonel metrikler için bir çerçeve ortaya koyar.

Statik Ölçütlerdeki Sorun

MMLU veya HumanEval gibi geleneksel ölçütler statiktir. Bir model bunlara göre ayarlandığında, ayırt edici güçlerini kaybederler. Gelişmiş dar yapay zeka, belirli bir alanın inceliklerini ezberleyebilir. AGI benzeri davranışı tespit etmek için dağılım dışı (OOD) genelleştirmeye ve bileşimsel akıl yürütmeye bakmalıyız. AGI, açık yeniden eğitim olmadan A alanındaki bilgiyi tamamen ilgisiz bir B alanına aktarabilme yeteneğiyle karakterize edilir.

Metrik 1: Alanlar Arası Aktarım Verimliliği

Temel bir operasyonel metrik Aktarım Oranı'dır. Bu, bir bağlamda öğrenilen bir becerinin başka bir bağlama uygulandığında performans düşüşünü (veya kazanımını) ölçer. Bir sistem satrançta mükemmel olsa da doğal dildeki temel mantık paradokslarında başarısız oluyorsa, bu dar kapsamlıdır. AGI, sözdizimsel olarak çeşitli ancak anlamsal olarak ilgili görevler arasında minimal bozulma göstermelidir.


def calculate_transfer_ratio(performance_task_a, performance_task_b):
    """
    Gerekme becerilerinin Görev A'dan (bilinen) Görev B'ye (yeni ancak ilgili)
    aktarım verimliliğini hesaplar.
    
    0 ile 1 arasında bir puan döndürür. Daha yüksek daha iyidir.
    """
    if performance_task_a == 0:
        return 0.0
    
    # Performansı 0-1 ölçeğine normalize et
    norm_a = performance_task_a / 100.0
    norm_b = performance_task_b / 100.0
    
    # Oran, temel yetkinliğin ne kadarının korunduğunu gösterir
    transfer_efficiency = norm_b / norm_a
    
    # B'ye aşırı uyumu (overfitting) ima eden %100'den yüksek verimliliği önlemek için 1.0 ile sınırla
    return min(transfer_efficiency, 1.0)

# Örnek: Sistem Python hata ayıklamayı öğrenir (Görev A)
# Ardından hukuki sözleşme analizini dener (Görev B)
perf_debugging = 95.0
perf_legal = 40.0

print(f"Transfer Oranı: {calculate_transfer_ratio(perf_debugging, perf_legal):.2f}")
# Çıktı: 0.42 -> Dar uzmanlaşmayı gösterir

Metrik 2: Sıfır Atış Yenilik Çözümü

Dar yapay zekanın yeni görevlerde iyi performans göstermesi için bağlam içi öğrenme örneklerine ihtiyacı vardır. AGI, belirli problem yapısına sıfır önceden maruz kalma ile yeni problemleri çözmelidir. Bunu, dinamik olarak oluşturulan, tekrar etmeyen problem setlerinde İlk Deneme Başarı Oranı ile ölçüyoruz.

  • Girdi: Doğal dilde tanımlanan tamamen yeni bir kural seti.
  • Görev: Kuralları, görülmemiş bir veri noktaları setine uygulamak.
  • Eşik: Sistem %90 doğruluğa ulaşmak için >3 örneğe ihtiyaç duyuyorsa, muhtemelen dar kapsamlı bağlam içi desen eşleştirmesine güveniyor demektir. 0 örnekle %90'a ulaşıyorsa, soyut kural türetme yeteneğini gösterir.

Metrik 3: Bilişsel Yük Kararlılığı

Gelişmiş dar modeller genellikle bilişsel yük altında (uzun bağlamlar, birden çok kısıt) performanslarını düşürür. AGI, kısıt setinin karmaşıklığı arttıkça performans kararlılığını korumalıdır. Karmaşıklık Çöküş Eğrisi'ni izliyoruz:


import numpy as np

def plot_complexity_decay(accuracy_scores, constraint_counts):
    """
    Eşzamanlı kısıtların sayısı arttıkça doğruluğun nasıl düştüğünü görselleştirir.
    """
    # Çöküş hızını görmek için doğrusal regresyon uygula
    coeffs = np.polyfit(constraint_counts, accuracy_scores, 1)
    decay_rate = coeffs[0]
    
    # Sağlıklı bir AGI vekili, kısıt başına > -0.05 çöküş hızına sahip olmalıdır
    # Dar yapay zeka genellikle kısıt başına > 0.1 düşer
    if decay_rate > -0.05:
        status = "Yüksek Kararlılık (AGI-benzeri)"
    else:
        status = "Kırılgan (Dar Yapay Zeka)"
        
    return f"Çöküş Hızı: {decay_rate:.4f} | Durum: {status}"

# Simüle edilmiş veri
accuracies = [98, 95, 92, 88, 85]
constraints = [1, 2, 3, 4, 5]
print(plot_complexity_decay(accuracies, constraints))

Pratik Uygulama: Dinamik Ölçüt Paketi

Bu metrikleri operasyonelleştirmek için, gerçek zamanlı olarak yeni problemler oluşturan Dinamik Ölçüt Paketi oluşturmanızı öneriyoruz. Bu, sabit veri setlerine aşırı uyumu (overfitting) önler. Sistem şunları yapmalıdır:

  1. Yeni bir mantık bulmacası veya kodlama görevi oluşturun.
  2. Çözümü ve benzer tüm örnekleri gizleyin.
  3. Yapay zekanın ilk yanıt doğruluğunu ölçün.
  4. Rastgele alanlarda 100 kez tekrarlayın.
  5. Toplam Aktarım Oranı ve Çöküş Hızını hesaplayın.

Sonuç: Puanlardan Davranışlara

AGI'yi gelişmiş dar yapay zekadan ayırt etmek, tek bir sihirli sayı bulmakla ilgili değildir. Bu, yenilik, alanlar arası kısıtlar ve artan karmaşıklık altında davranışsal sağlamlığı gözlemlemekle ilgilidir. Statik puanlardan Aktarım Oranları ve Karmaşıklık Çöküşü gibi dinamik operasyonel metriklere odaklanarak, genel zekanın neyi oluşturduğunu belirleyen daha katı, bilimsel olarak geçerli eşikler oluşturmaya başlayabiliriz. Amaç, yapay zekanın ne bildiğini ölçmek değil, bilinmeyen karşısında nasıl öğrendiğini ve uyum sağladığını anlamaktır.

Share: