Simurg Okulu #17 — Sesli asistanlar: konuştuğumuzda arada neler oluyor?

Yol günlüğü

Aşk vadisinin beşinci durağı. AI arama bölümünde yazarak sorduğum sorunun cevabının nasıl kurulduğuna bakmıştım. Bugün klavyeyi bırakıyorum: konuşarak sorduğumda arada ne oluyor? Önce borç defteri: #15 ve #16'da söz verdiğim iki deney hâlâ duruyor. Yapmadığım deneyin sonucunu yazmayacağım.

Bugün öğrendim

Nedir?

Sesli asistan, soruyu mikrofondan alan ve cevabı hoparlörden veren asistan. İçindeki model çoğu zaman önceki bölümlerde tanıdığım LLM'in aynısı; değişen şey giriş ve çıkış kapısı. Aynı teknolojinin iki yakın akrabası var: konuştuğunuzu yazıya döken dikte ve toplantıyı dinleyip not çıkaran araçlar. Bugün haberini okuduğum ElevenLabs'in ElevenAI uygulaması bu ikisini tek üründe birleştiriyor.

Nasıl çalışıyor?

Klasik yapı üç halkalı bir zincir:

1. Speech-to-text (STT): ses dalgası metne çevrilir. Bu işin en bilinen açık modellerinden biri OpenAI'ın 2022'de yayımladığı Whisper; makalesine göre 680.000 saatlik çok dilli ses verisiyle eğitildi.
2. LLM: metin, yazılmış bir soru gibi modele gider; model cevabı metin olarak üretir.
3. Text-to-speech (TTS): cevap metni yapay bir sesle okunur.

Bu zincirin iki bedeli var. Birincisi gecikme: üç model sırayla çalışır. İkincisi kayıp: metne çevrilirken ses tonu, duraksama, arka plandaki ses, birden çok konuşmacı gibi bilgiler düşer; LLM yalnızca kelimeleri görür.

İkinci yapı bu zinciri tek modele indiriyor. OpenAI, Mayıs 2024'teki GPT-4o duyurusunda eski sesli modun üç ayrı modelden oluşan bir hat olduğunu ve ortalama 2,8 ile 5,4 saniye gecikmeyle çalıştığını, yeni modelin ise sesi doğrudan işleyip ortalama 320 milisaniyede cevap verebildiğini yazmıştı. Bu rakamlar şirketin kendi ölçümü ve o günün modeline ait; bugünkü ürünler için ayrıca ölçmek gerekir. Ama fikir açık: model sesi metne çevirmeden "duyarsa" hem hızlanıyor hem tonu kaybetmiyor.

Bilmediğim kısım: kullandığım bir sesli asistanın hangi yapıda çalıştığını dışarıdan kesin olarak anlayamıyorum. Ürünler bunu her zaman söylemiyor.

Ne yapılabilir?

• Dikte: uzun bir e-postayı ya da notu konuşarak yazdırmak, sonra düzeltmek.
• Eller doluyken soru: mutfakta, arabada, sahada kısa bir bilgi sormak.
• Dil pratiği: yabancı dilde konuşup anında geri bildirim almak.
• Toplantı notu: konuşulanı döküme, dökümü özete çevirmek.
• Erişilebilirlik: ekrana bakamayan ya da yazamayan biri için asistanı kullanılabilir kılmak.

Asistan artık yalnızca benimle değil, benim adıma başkalarıyla da konuşabiliyor: Meta'nın Muse agent'ı ABD'de işletmeleri telefonla arayabiliyor.

Dikkat edilecek üç şey heybeme girdi. Bir: STT yanlış duyarsa LLM yanlış soruya gayet akıcı bir cevap verir; özel isimlerde, rakamlarda ve Türkçe-İngilizce karışık cümlelerde dökümü kontrol etmek gerekir. İki: ses, metinden daha kişisel bir veridir; kaydın nerede saklandığına ve kimin dinleyebildiğine bakmadan toplantı kaydetmemek lazım. Üç: mikrofon odadaki herkesi duyar; asistanın duyduğu her cümle, benim söylemediğim bir talimat da olsa, context'e girer.

Tüyü yaktım

Bugün de ölçülmüş sonucum yok, tasarımı bırakıyorum. On cümlelik bir metin hazırlayacağım: içinde iki özel isim, üç rakam, bir de yarısı İngilizce bir cümle olacak. Aynı metni önce sessiz odada, sonra arkada müzik çalarken okuyup dikte ettireceğim. Sayacağım tek şey: on cümleden kaçı düzeltme gerektirmeden çıktı ve hatalar hangi türde toplandı. Sonra aynı soruyu bir kez yazarak, bir kez sesle sorup cevapların aynı olup olmadığına bakacağım. Deney borcum üçe çıktı; bir sonraki bölümden önce en az birini kapatmak istiyorum.

Heybeme koyduğum

Sesli asistanda iki ayrı şey yanılabilir: önce kulak, sonra akıl; cevaba güvenmeden önce asistanın beni ne diye duyduğuna bakmalıyım.

Kafama takılan

Sesi doğrudan işleyen bir model, odadaki başka birinin sesini benim talimatımdan nasıl ayırıyor; ayırmıyorsa bunu kim, nerede engelliyor?

Son söz

Sıradaki durak toplantı asistanları: bir saatlik konuşmadan özet ve yapılacaklar listesi nasıl çıkıyor, özete ne kadar güvenilir?