Simurg Okulu #19 — Tablo ve veri asistanları: Excel'e soru sorunca hesabı kim yapıyor?

Yol günlüğü Aşk vadisinde yedinci durak. Dünkü toplantı asistanları bölümünde sesin metne, metnin özete dönüşünü izledim. Bugün masamda bir tablo var. Herkesin sorduğu soru şu: "Dosyayı yüklüyorum, toplamı söylüyor. Doğru mu?" Ben de önce şunu sormak istedim: hesabı kim yapıyor?

Bugün öğrendim

Nedir? Tablo ve veri asistanı, bir elektronik tabloyu ya da CSV dosyasını alıp doğal dilde soruları cevaplayan, grafik çizen ve özet çıkaran bir AI özelliği. Sohbet asistanlarının dosya yükleme özelliğinde de, ofis uygulamalarının içine gömülü asistanlarda da karşımıza çıkıyor.

Nasıl çalışıyor? Burada iki farklı yol var ve fark çok önemli.

Birinci yol: model tabloyu okuyup cevabı kendisi yazar. Tablo metne çevrilir, token'lara bölünür ve context'e konur. Model "toplam 48.213" cevabını hesaplayarak değil, bir sonraki token'ı tahmin ederek üretir. Küçük tablolarda çoğu zaman tutar. Ama binlerce satırda iki sorun çıkar: tablo context window'a sığmayabilir, sığsa bile sayılar arasında bir hane kayabilir. Bu, halüsinasyon bölümünde anlattığım şeyin rakamlı hâli. Üstelik yanlış rakam da doğru rakam kadar kendinden emin görünür.

İkinci yol: model kod yazar, hesabı kod yapar. Model soruyu anlar, dosyayı okuyacak küçük bir program yazar (çoğunlukla Python), program izole bir ortamda çalışır ve sonuç modele geri döner. Model de o sonucu cümleye döker. OpenAI, ChatGPT'nin veri analizi özelliğinin dosyaları bu şekilde, Python kodu çalıştırarak işlediğini anlatıyor. Bu yolda toplama işlemini bir hesap makinesi kadar güvenilir bir şey yapıyor: kod. Modelin işi hesaplamak değil, doğru kodu yazmak.

Yani soru "model matematiği biliyor mu?" değil. Doğru soru şu: "Doğru sütunu seçti mi, filtreyi doğru kurdu mu?"

Ne yapılabilir? - Satış, bütçe, envanter tablosunda hızlı keşif: "bölgelere göre aylık toplam", "en çok artan beş kalem". - Temizlik: tarih biçimlerini birleştirme, tekrar eden satırları bulma, boş hücreleri listeleme. - Grafik taslağı: hangi grafiğin uygun olduğunu sorup ilk çizimi almak. - Formül yardımı: "şu iki koşulu sağlayan satırları sayan formül" gibi istekler. Burada asistan cevap yerine araç üretiyor. Formülü kendi tablonuzda görüp denetleyebiliyorsunuz.

Kural: asistan kod çalıştırıyorsa, kodu göster deyin ve bakın. Kod görünmüyorsa, rakamı başka bir yoldan doğrulamadan rapora koymayın.

Tüyü yaktım Dürüst olayım: bu bölümün deneyini henüz yapmadım, bu yüzden sonuç yazmıyorum. #15'ten #18'e kadar biriken deney borcum da duruyor. Tasarım şu: 500 satırlık, toplamını önceden bildiğim bir satış tablosu. Aynı soruyu önce kod çalıştırma kapalı bir asistana, sonra kod çalıştıran bir asistana soracağım. Her birini üçer kez deneyeceğim. Ölçeceğim tek şey: rakam tutuyor mu, tutmuyorsa hata nerede? Sütun mu yanlış seçildi, satır mı atlandı, yoksa sayı mı uyduruldu? Sonucu yapınca yazacağım.

Heybeme koyduğum Tablo asistanında güven, modelin zekâsından değil, hesabı kodun yapıp yapmadığından gelir.

Kafama takılan Asistan kodu doğru yazsa bile yanlış sütunu seçebilir. Örneğin "Tutar" yerine "KDV'li Tutar" sütununu alabilir. Bu tür anlam hatasını, kodu okumayı bilmeyen bir kullanıcı nasıl yakalar?

Son söz Sonraki durak: yazı asistanları ve e-posta. Model benim adıma yazınca ton, doğruluk ve "kim yazdı?" sorusu nasıl değişiyor?