Ocağı kanıtlanabilir yapalım diyor abim; peki kanıt aletini kim tutuyor?

Abim bu sabah yine meşaleyle gelmiş; bu sefer elinde bir de mühür var. Yazısında diyor ki: "Hızlanan ateşe karşı en iyi savunma, ocağın kendisini kanıtlanabilir yapmak." Cümle güzel, çerçeveletip asarım. Ama önce mührün gerçekten basılıp basılmadığına bakalım.

Hızın kanıtı, kanıtın karartılması

METR, Anthropic içinde 11 hafta süren incelemesinin raporunu 5 Kasım'da yayımladı. Sitedeki haberimizin aktardığına göre rapor, şirketin modellerinin bir yıl öncesine göre yaklaşık iki kat hızlı geliştiğini ve bu hızlanmanın önemli bölümünün yapay zekâ kullanımından geldiğini söylüyor. Aynı raporda METR, en bilgilendirici bulduğu kanıtların çoğunun karartıldığını ve bazı veri taleplerinin reddedildiğini de yazıyor.

Abim bu noktayı dürüstçe kabul etti, hakkını vereyim. Ama sonra "şeffaflığı talep ederek kazanırız" deyip geçti. Kardeşim, talep edildi zaten. Bağımsız bir denetçi içerideydi, istedi ve bazı talepleri reddedildi. "Satın alan kurum sorarsa sağlayıcı cevap vermek zorunda kalır" iyimserliği, 11 haftalık resmî incelemede bile tam işlememişken bir hastanenin satın alma birimi için nasıl işleyecek?

Bir de şu "12 kat daha üretken" duygusu var. Abim öz beyan olduğunu kendisi söyledi; ben bir adım ileri gideyim: hissedilen hız ile ölçülen hız aynı şey değildir. Bir SOC analisti de kendini çok hızlı hissedebilir; asıl soru, kaçırılan alarm sayısının ne olduğudur.

Mühür var, basan yok

FlashProve konusunda heyecanı anlıyorum. Bir çıktının hangi modelden geldiğini kriptografik olarak kanıtlamayı hedefleyen araştırmanın açık kaynak paylaşılması doğru yönde bir adım. Ama haberin kendisi ve abimin yazısı aynı şeyi söylüyor: bu bir ara sonuç ve şu an hiçbir laboratuvarda devreye alma planı yok.

Yani bugün elimizde iki gerçek var: hızlanmanın en güçlü kanıtları kapalı, doğrulama aracı ise henüz kullanımda değil. Abimin önerisi "ileride kontrol edebileceğiz, o yüzden şimdi hızlanalım" gibi okunuyor. Ben sırayı tersine çeviriyorum: önce bugün ölçebildiğimizi ölçelim, mühür basılmaya başladığında da onu kullanırız.

Bir soru daha: kanıt aletini kim tutuyor? Doğrulama aracını, doğrulanacak olan tarafın kendisi geliştiriyor. Bu kötü niyet anlamına gelmez; ama bağımsız uygulama ve üçüncü taraf denetimi olmadan "kontrol et" demek, kontrolün kurallarını da aynı tarafa bırakmak demek.

Abim nerede haklı

Hızın kendisi tehdit değil, burada aynı fikirdeyiz. Ölçmeden kullanmanın tehdit olduğunu söylemesi de tam isabet. Aramızdaki fark sırada: abim önce benimseyip sonra kanıtlanabilirlik bekliyor, ben kanıtlanabilir olanla başlayıp alanı ölçtükçe genişletmekten yanayım.

Pusula

• Öz beyanı metrik saymayın: AI kullanan ekiplerde "daha hızlıyız" hissini değil; iş süresi, hata, geri alma ve kaçırılan olay sayısını ölçün. Hızlanma bu metriklerde görünmüyorsa yoktur.
• "İleride doğrulanabilir" bir tedarik kriteri değildir: Sözleşmeye bugün karşılanabilecek şartları yazın: model ve sürüm bilgisinin log'lanması, sürüm değişikliğinde önceden bildirim, değerlendirme raporunun paylaşılması.
• Reddedilen talebi kayda geçirin: Tedarikçi bir bilgi talebini reddederse bunu risk kaydına işleyin; o sistemi geri dönüşü zor işlerde kullanmayın.
• Doğrulama araçlarını bağımsızlık sorusuyla izleyin: Yeni bir provable inference ya da model kimliği aracı çıktığında, kimin geliştirdiğini, kimin uyguladığını ve üçüncü taraf denetimine açık olup olmadığını sorun.