Technical Tutorials

Büyük dil modellerinin yükselişi, son derece etkileşimli yapay zeka deneyimlerinin kapısını araladı, ancak geleneksel metin tabanlı arayüzler, konuşma bağlamlarında beklenen anlık tepkiyi genellikle karşılayamıyor. Doğal, insana benzer ses etkileşimleri oluşturmaya yönelik geliştiriciler için anahtar, gecikmeyi en aza indirmekte ve çift yönlü ses akışlarını verimli bir şekilde yönetmekte yatıyor. OpenAI'nin Gerçek Zamanlı API'si, WebSockets ile birleştirildiğinde, bu tür sistemlerin oluşturulması için sağlam bir temel sağlar. Bu yazıda, düşük gecikmeli bir ses ajanı dağıtmak için gereken mimari ve uygulama detaylarını inceleyeceğiz.

Gerçek Zamanlı Mimariyi Anlama

Statik metin yanıtları isteyen ve alan standart API çağrılarından farklı olarak, Gerçek Zamanlı API kalıcı bir WebSocket bağlantısı kullanır. Bu, istemci ve sunucu arasında ses parçacıklarının, metin deltalarının ve kontrol mesajlarının sürekli olarak akıtılmasına olanak tanır. Temel fayda, toplu işleme ile ilişkili gidip gelme gecikmelerinin ortadan kaldırılmasıdır. Bir yanıt oluşturmadan önce tam bir transkripti beklemek yerine, model ses alındıkça işleme başlar; bu da kesintilere ve gerçek zamanlı tepkilere olanak tanır.

WebSockets'in Rolü

WebSockets, tek bir TCP bağlantısı üzerinden tam çift yönlü bir iletişim kanalı sağlar. Ses ajanları bağlamında bu, istemcinin mikrofon girdisini akıtırken aynı zamanda sentezlenmiş ses çıktısını alabileceği anlamına gelir. Bu çift yönlülük, bir kullanıcının yapay zekayı kestiği ve sistemin ses üretmeyi durdurup anında dinlemeye başlaması gereken "barge-in" (kesinti) durumlarını yönetmek için kritiktir.

Uygulama Stratejisi

Bir ses ajanı uygulamak genellikle üç katmanı içerir: istemci (ses yakalama), arka uç vekili (WebSocket bağlantısını ve API anahtarlarını yönetme) ve model (işleme ve yanıt verme). Güvenlik en iyi uygulamaları, API anahtarlarının asla istemciye maruz bırakılmaması gerektiğini belirtir. Bu nedenle, bir köprü görevi görmesi için bir arka uç hizmeti gereklidir.

Arka Uç WebSocket Vekili

Aşağıda, OpenAI'nin Gerçek Zamanlı uç noktasına bağlantıyı yönetmek için Node.js ve ws kütüphanesini kullanan kavramsal bir örnek bulunmaktadır. Bu vekil, ses karelerini istemciden API'ye iletir ve yanıtları geri akıtır.

const WebSocket = require('ws');
const { WebSocketServer } = require('ws');

const wss = new WebSocketServer({ port: 8080 });

wss.on('connection', (wsClient) => {
    // OpenAI Gerçek Zamanlı API'ye yeni bir bağlantı oluştur
    const wsOpenAI = new WebSocket('wss://api.openai.com/v1/realtime', {
        headers: {
            'Authorization': `Bearer ${process.env.OPENAI_API_KEY}`
        }
    });

    // İstemci mesajlarını OpenAI'ye ilet
    wsClient.on('message', (data) => {
        if (wsOpenAI.readyState === WebSocket.OPEN) {
            wsOpenAI.send(data);
        }
    });

    // OpenAI yanıtlarını istemciye ilet
    wsOpenAI.on('message', (data) => {
        wsClient.send(data);
    });

    // Bağlantı kesilmelerini yönet
    wsClient.on('close', () => wsOpenAI.close());
    wsOpenAI.on('close', () => wsClient.close());
});

İstemci Tarafı Ses İşleme

Ön uçta, ham PCM sesini doğru örnek hızında (OpenAI modelleri için tipik olarak 24 kHz) yakalamak için Web Audio API'sini kullanmak esastır. Ses, Base64 dizelerine dönüştürülmeli ve WebSocket üzerinden JSON mesajları olarak gönderilmelidir. Aynı zamanda, gelen ses deltaları, tamponlama artefaktları olmadan pürüzsüz bir oynatma sağlamak için AudioContext kullanılarak çözümlenmeli ve oynatılmalıdır.

Düşük Gecikme İçin Optimizasyon

Doğal bir konuşma akışı elde etmek için, uçtan uca gecikmenin 500ms'nin altında olmasını hedefleyin. Bunun için birkaç parametrenin dikkatli bir şekilde ayarlanması gerekir:

Parça Boyutu: Büyük tamponlar yerine sesleri küçük ve sık parçalar halinde (ör. 100-200ms) gönderin.
VAD (Ses Aktivitesi Algılama): Kullanıcının konuşmayı ne zaman durdurduğunu otomatik olarak algılamak için API'nin yerleşik VAD'ini kullanın; bu, modelin istemci kodunda tanımlanan bir sessizlik zaman aşımını beklemeden yanıt üretmeye başlamasına olanak tanır.
Bağlantı Yönetimi: Ara vekillerde veya CDN'lerde zaman aşımını önlemek için WebSocket bağlantısını periyodik kalp atışlarıyla (heartbeat) canlı tutun.

Kesintileri Yönetme (Barge-Ins)

Ses arayüzlerinin en zorlu yönlerinden biri, kullanıcı kesintilerini yönetmektir. Bir kullanıcı, yapay zeka hâlâ konuşurken konuşmaya başladığında, yapay zeka mevcut çıktısını durdurup dinleme moduna geçmelidir. Gerçek Zamanlı API bu mantığı sunucu tarafında ele alır, ancak istemci, yeni bir input_audio_buffer.speech_started olayı alındığında bekleyen herhangi bir ses oynatmayı aktif olarak iptal etmelidir. Bu, kullanıcının duyulmak için yapay zekanın cümlesini bitirmesini beklememesini sağlar.

Sonuç

OpenAI'nin Gerçek Zamanlı API'si ve WebSockets ile gerçek zamanlı ses ajanları oluşturmak, yapay zeka uygulamaları için etkileşimin yeni bir seviyesini açar. Kalıcı bağlantıları, ses akışını ve dikkatli gecikme optimizasyonunu kullanarak geliştiriciler, tepkisel ve doğal hissettiren deneyimler yaratabilir. Bu teknolojiler olgunlaştıkça, çok taraflı konuşma yönetimi ve gerçek dünya araçlarıyla daha derin entegrasyon gibi daha sofistike özellikler bekleyebiliriz. Basit bir yankı sunucusu prototipi oluşturarak başlayın, ardından gerçek zamanlı ses akışının nüanslarını ustalaşmak için LLM katmanını kademeli olarak ekleyin.