oaDub — Gerçek Zamanlı Çok Modlu Yapay Zeka Eşzamanlı Sekme Dublajı Motoru
Sekme sesini 16kHz ham PCM formatında Manifest V3 Offscreen üzerinden yakalayıp Google Gemini Live API'ye çift yönlü WebSocket ile akıtan ve 24kHz eşzamanlı dublaj üreten sıfır-sunucu Edge eklentisi.
Projeye Genel Bakış
Küresel video platformlarında (YouTube, Coursera, Twitch, web konferansları) yabancı dildeki teknik ve eğitsel içerikleri takip etmek altyazı okuma zorunluluğu nedeniyle sürekli bir bilişsel yük yaratır; geleneksel yapay zeka dublaj araçları ise alternatif bir video kanalı render etmek için dakikalarca süren toplu işlem süreleri gerektirir.
oaDub, bu engele son nesil çok modlu yapay zeka ile son veren anlık ve gerçek zamanlı bir eşzamanlı sesli dublaj motorudur. Chrome Manifest V3 kısıtlamalarına tam uyumlu olarak geliştirilen eklenti, tarayıcı sekmesindeki canlı medyayı yakalayarak 16kHz Little-Endian ham PCM formatında doğrudan Google Gemini 3.5 Live Multimodal WebSocket API'sine akıtır. Yapay zekadan anlık dönen 24kHz PCM ses akışı, istemci tarafındaki Web Audio API çift kanallı mikseri üzerinden orijinal sesi hafifçe kısarak (audio ducking) eşzamanlı yayınlar. Sistem, harici hiçbir ara sunucuya ihtiyaç duymadan 400 milisaniyenin altında gecikmeyle çalışırken, kullanıcı API anahtarını tamamen yerel chrome.storage.local alanında korur.
flowchart LR
subgraph Browser ["Tarayıcı Çalışma Zamanı (Manifest V3)"]
subgraph Tab ["Aktif Medya Sekmesi (YouTube / Coursera)"]
Video["Medya Akışı / Sekme Sesi"]
end
subgraph Offscreen ["Manifest V3 Offscreen Belgesi"]
Capture["chrome.tabCapture API"]
AudioCtx["Web Audio API Context\n16kHz Örnekleyici"]
PCM_Enc["Little-Endian PCM Kodlayıcı"]
Capture --> AudioCtx --> PCM_Enc
end
subgraph ExtensionEngine ["Eklenti Arka Planı & Ses Mikseri"]
Mixer["Çift Kanallı Ses Mikseri\nOrijinal Ses Kısma (-18dB Ducking)"]
Speaker["🔊 Çıkış Aygıtı (Hoparlör / Kulaklık)"]
Mixer --> Speaker
end
end
subgraph CloudAI ["Google Çok Modlu Yapay Zeka Altyapısı"]
GeminiLive["⚡ Gemini 3.5 Live API\nÇift Yönlü WebSocket Uç Noktası"]
SpeechSynthesis["Akışkan Sesten Sese Dublaj\n24kHz Ses Tampon Motoru"]
GeminiLive <--> SpeechSynthesis
end
Video --> Capture
PCM_Enc -- "16kHz Mono PCM Paketleri (WebSocket)" --> GeminiLive
SpeechSynthesis -- "24kHz Sentezlenmiş PCM Akışı" --> Mixer
style Browser fill:#08090A,stroke:#38BDF8,stroke-width:1px,color:#EDEDED
style Offscreen fill:#0E131F,stroke:#0284C7,stroke-width:1px,color:#EDEDED
style ExtensionEngine fill:#14171D,stroke:#38BDF8,stroke-width:1px,color:#EDEDED
style CloudAI fill:#0B1120,stroke:#60A5FA,stroke-width:2px,color:#EDEDEDMimari Karşılaştırma: oaDub Canlı Eklentisi ve Geleneksel Dublaj Araçları
| Operasyonel & Teknik Kriter | İşlem Sonrası Bulut Dublajı | Standart Altyazı Eklentileri | oaDub Canlı Gemini Motoru |
|---|---|---|---|
| Çeviri Gecikmesi | 5 – 30 Dakika (Toplu Render) | 1.5s – 3.0s (Metin STT & Çeviri) | < 400ms (Doğrudan Canlı Ses Akışı) |
| Ses Çıkışı | Yeniden İşlenmiş Ayrı Video Dosyası | Yok (Yalnızca Metin / Görsel Dikkat Dağınıklığı) | Eşzamanlı 24kHz Doğal Yapay Zeka Sesi |
| Sunucu Altyapısı | Ağır GPU Bulut Render Çiftlikleri | Çeviri API Proxy Sunucuları | Sıfır Sunucu / Doğrudan İstemci WebSocket |
| Gizlilik & Güvenlik | Video/Ses Üçüncü Taraf Sunuculara Yüklenir | API Anahtarı Uzak Sunucuda Saklanır | %100 İstemci Yerel Anahtar (Sıfır Veri Saklama) |
| Tarayıcı Entegrasyonu | Harici Web Sitesi / Manuel Yükleme | Standart İçerik Betiği | Manifest V3 Offscreen Document & Tab Capture |
Teknik Derinlemesine İnceleme
1. Manifest V3 Offscreen Belgesi & Web Audio Sekme Yakalama Hattı
Modern tarayıcı eklentileri, arka plan servis çalışanlarının DOM ve HTMLMediaElement erişimini kısıtlayan Manifest V3 altında çalışır. oaDub bu mimari engeli bağımsız bir Offscreen Document mimarisiyle çözer. Aktif sekmede başlatılan chrome.tabCapture, ham medya akışını yüksek hassasiyetli bir AudioContext içine aktarır; çok kanallı tarayıcı sesi 16.000 Hz 16-bit mono Little-Endian doğrusal PCM akışına dönüştürülerek yapay zeka modeline hazırlanır.
2. Düşük Gecikmeli Çift Yönlü WebSocket & Gemini 3.5 Live Protokolü
Geleneksel Metne Dönüştürme (STT), Çeviri (MT) ve Sese Dönüştürme (TTS) basamaklarının yol açtığı gecikmeleri aşmak için oaDub doğrudan Google Gemini Live Multimodal WebSocket protokolüne bağlanır. Bölümlenmiş ikili PCM ses çerçeveleri tonlama ve duygu kaybı olmadan sürekli akıtılır. Gemini Live anlık 24.000 Hz ham PCM bloklarıyla yanıt verir ve uçtan uca ses çevirisi 400 milisaniyenin altında tamamlanır.
3. Çift Kanallı Dinamik Ses Mikseri & Akıllı Ses Kısma (Audio Ducking)
Kullanıcıya profesyonel simültane tercüme deneyimi yaşatmak için Web Audio API GainNode altyapısıyla akıllı bir ses kısma (ducking) algoritması işletilir. Orijinal sekme sesi arka planda -18dB seviyesine çekilerek doğal ambiyans korunur, yapay zekanın ürettiği çeviri sesi ise kristal netliğinde öne çıkarılır. Dinamik döngüsel jitter tamponları ağdaki dalgalanmaları gecikme biriktirmeden yumuşatır.
4. Sıfır-Sunucu Gizlilik Mimarisi & Microsoft Edge Mağaza Dağıtımı
Kullanıcı gizliliği tasarım gereği garanti altındadır: oaDub hiçbir ara sunucu, proxy veya üçüncü taraf telemetri veritabanı barındırmaz. Kullanıcının Google AI Studio API anahtarı şifrelenerek yalnızca chrome.storage.local üzerinde tutulur. Tüm WebSocket el sıkışmaları doğrudan kullanıcının tarayıcısı ile resmi Google Gemini uç noktası arasında gerçekleşir. Resmi Microsoft Edge Eklentiler mağazasında onaylı ve otomatik CI/CD hatlarıyla yayınlanmaktadır.
Teknoloji Yığını
- Çalışma Zamanı & Platform
- Chrome / Microsoft Edge Eklentisi (Manifest V3)
- Yapay Zeka & Protokol
- Google Gemini 3.5 Live API / Çift Yönlü Multimodal WebSocket
- Ses Yakalama
- Web Audio API, AudioContext, Offscreen Document, 16kHz PCM Örnekleme
- Çıkış Sentezi
- 24kHz Düşük Gecikmeli PCM Ses Akışı & Dinamik Tampon Kuyrukları
- Güvenlik & Gizlilik
- chrome.storage.local İstemci-İçi API Anahtarı Şifreleme
- Dağıtım
- Resmi Microsoft Edge Eklentiler Mağazası Sertifikalı
Sağlanan Katma Değer & İş Etkisi
Ara proxy sunucularını ve sunucu maliyetlerini ortadan kaldırarak doğrudan sekme içi ses akışı sunan oaDub, profesyoneller ve öğrenciler için dil bariyerini anında yıkan, sıfır altyapı giderine sahip ve tam veri egemenliği sağlayan bir model ortaya koymuştur.
Benzer bir sistem mimarisine mi ihtiyacınız var?
Teknik danışmanlık, özel yazılım geliştirme veya sistem denetimi için doğrudan iletişime geçebilirsiniz.