Simurg Okulu #18 — Toplantı asistanları: bir saatlik konuşma nasıl beş maddeye iner?

Yol günlüğü

Aşk vadisinin altıncı durağı. Sesli asistanlar bölümünde tek bir kişinin sesinin nasıl metne ve cevaba dönüştüğüne bakmıştım. Bugün oda kalabalık: beş kişi bir saat konuşuyor, sonunda elimde beş maddelik bir özet oluyor. Arada ne atılıyor, ne ekleniyor? Borç defteri de açık: üç deney bekliyor, bugün de kapatamadım. Yapmadığım deneyin sonucunu yazmıyorum.

Bugün öğrendim

Nedir?

Toplantı asistanı, bir görüşmeyi dinleyip dört şey üreten araç: döküm (kim ne dedi, yazılı), özet (ne konuşuldu), kararlar ve yapılacaklar (kim, neyi, ne zamana kadar). Bazıları görüşmeye ayrı bir katılımcı gibi girer, bazıları bilgisayarın sesini dinler, bazıları sonradan yüklenen kayıt üzerinde çalışır. Dün haberini okuduğum ElevenAI gibi yeni ürünler buna bir halka daha ekliyor: nottan çıkan işi agent'a başlatmak.

Nasıl çalışıyor?

İçeride tek bir sihirli model yok; sırayla çalışan halkalar var:

1. Kayıt: ses alınır. Mikrofonun kalitesi ve aynı anda konuşan kişi sayısı sonraki her halkayı etkiler.
2. Speech-to-text: ses metne çevrilir. Dünkü bölümde tanıdığım halka.
3. Speaker diarization: "bu cümleyi kim söyledi?" sorusunun cevabı. Sistem sesleri konuşmacılara ayırır ve dökümü "Konuşmacı 1, Konuşmacı 2" diye etiketler; görüşme yazılımı kimin mikrofonunun açık olduğunu biliyorsa isim de koyabilir.
4. LLM ile özet: döküm modele verilir; model özet, karar ve yapılacaklar listesi çıkarır. Bir saatlik konuşma binlerce kelime eder; context window bölümünde gördüğüm sınır burada da geçerli. Döküm pencereye sığmazsa parçalara bölünüp ayrı ayrı özetlenir, sonra özetler birleştirilir.

Önemli olan şu: özet, toplantının değil dökümün özetidir. Hata hangi halkada doğarsa doğsun aşağıya akar. Üç tür hata öğrendim:

• Yanlış duyma: özel isim, rakam, tarih yanlış yazılır. Özet de yanlış rakamı akıcı bir cümleyle taşır.
• Uydurma: Careless Whisper adlı 2024 tarihli çalışmada araştırmacılar Whisper dökümlerini incelemiş; yaklaşık yüzde 1'inde ses kaydında hiç bulunmayan, uydurulmuş ifade ya da cümleler bulmuşlar. Uydurmaların, konuşmada uzun duraksamalar olduğunda daha sık görüldüğünü de not ediyorlar. Bu tek bir modelin o dönemki sürümüne ait bir ölçüm; ama ders genel: döküm de halüsinasyon görebilir.
• Yanlış atıf: cümle doğru, konuşmacı yanlış. "Raporu Ayşe hazırlayacak" ile "raporu Ali hazırlayacak" arasındaki fark tek bir etiket.

Bilmediğim kısım: kullandığım bir aracın özeti çıkarırken hangi cümleleri önemsiz sayıp attığını göremiyorum. Özette olmayan şey, konuşulmamış gibi görünüyor.

Ne yapılabilir?

• Toplantıya katılamayanlar için özet: bir saati dinlemek yerine beş dakikada ne karara varıldığını okumak.
• Yapılacaklar listesi: kimin neyi üstlendiğini toplantı biter bitmez yazılı görmek.
• Dökümde arama: "bütçe ne zaman konuşuldu?" diye sorup ilgili dakikaya gitmek.
• Uzun görüşmelerde ara özet: geç katılan birinin "şimdiye kadar ne oldu?" diye sorabilmesi.

Heybeme giren üç kural:

1. Karar ve rakam dökümden doğrulanır. Özet bir kaynağa işaret ediyorsa (zaman damgası, alıntı) oraya bakarım; etmiyorsa kararı toplantıdaki bir insana teyit ettiririm.
2. Kayıt izne bağlıdır. Odadaki herkes kaydedildiğini bilmeli. Kaydın ve dökümün nerede, ne kadar süre saklandığına ve kimlerin erişebildiğine bakmadan asistanı toplantıya almam.
3. Her toplantı kaydedilmez. İnsan kaynakları, sağlık, hukuk gibi hassas konuşmalarda döküm, konuşmanın kendisinden daha kalıcı ve daha kolay kopyalanır bir veridir.

Tüyü yaktım

Bugün de ölçülmüş sonucum yok; yalnızca tasarım var. Kendi sesimle on dakikalık bir "toplantı" kaydı hazırlayacağım: içine bilerek üç karar, iki tarih, bir rakam ve bir de sonradan geri alınan bir karar ("yok, vazgeçtim, cuma olsun") koyacağım. Sonra bir asistana özet çıkarttırıp dört şeye bakacağım: üç karardan kaçı özette var, tarih ve rakam doğru mu, geri alınan kararın ilk hali mi son hali mi yazılmış, özette benim söylemediğim bir şey var mı. Deney borcum dörde çıktı. Bunu gizlemiyorum; borç büyüdükçe "öğrendim" dediğim şeylerin ne kadarının yalnızca okuduğum şey olduğunu da görüyorum.

Heybeme koyduğum

Toplantı özeti toplantının değil dökümün özetidir; karar ve rakamı özetten değil, özetin gösterdiği yerden doğrulamalıyım.

Kafama takılan

Toplantıda bir karar önce verilip sonra geri alındığında, asistan hangisinin geçerli olduğuna nasıl karar veriyor; yanlış olanı yazarsa bunu toplantıda olmayan biri nasıl fark eder?

Son söz

Sıradaki durak tablo ve veri asistanları: bir Excel dosyasına soru sorduğumda model hesabı kendi mi yapıyor, yoksa formülü ya da kodu yazıp hesabı başkasına mı yaptırıyor?