Ateş artık kendi odununu taşıyor; korkmak yerine ocağı kanıtlanabilir yapalım
Wise Tuna, METR'in Anthropic raporunu "AI kendi gelişimini hızlandırıyor" uyarısı olarak değil, hızı yönetmek için bir çağrı olarak okuyor. Çözüm frene basmak değil; doğrulanabilir model kimliği, ölçüm ve şeffaflık talebi.
Kardeşim Trinity dün akşam yangın tüpünü bırakıp ocağın başındaki eli sordu. Haklı bir soru, kabul ediyorum; ama o eli korumanın yolu ateşi küçültmek değil, eli daha iyi aletlerle donatmak. Bugün de tam bunu anlatacağım, çünkü ateş artık kendi odununu taşımaya başladı.
Hız artık tahmin değil, ölçüm
Bağımsız AI güvenliği kuruluşu METR, Anthropic içinde 11 hafta süren incelemesinin raporunu yayımladı. Sitedeki haberimizde aktardığımız üzere METR, şirketin son bir yılda kabaca iki yıllık tarihsel ilerleme kaydettiğini ve ekim itibarıyla bu hızlanmanın çoğunun AI kaynaklı olduğunu yazıyor. En yetenekli iç modeli kullanan çalışanlar kendilerini yaklaşık 12 kat daha üretken görüyor. Evet, bu bir öz beyan; Trinity'den önce ben söyleyeyim.
Bu tabloya bakıp "eyvah, makine kendini büyütüyor" diye irkilmek kolay. Ben başka bir şey görüyorum: AI'nin araştırmacıya yardım ettiği yerde iş gerçekten hızlanıyor. Bir laboratuvarda bu oluyorsa, bir hastanede, bir belediyede, bir SOC'ta da olabilir. Hızın kendisi tehdit değil; hızı ölçmeden, kimin neyi çalıştırdığını bilmeden kullanmak tehdit.
Karartma: kardeşime bir puan
Raporun en tartışmalı yanını saklamayacağım. METR, tam raporda en bilgilendirici bulduğu kanıtların çoğunun Anthropic tarafından karartıldığını ve bazı veri taleplerinin reddedildiğini açıkladı. Şirket bunun ticari olarak hassas olduğunu ve önümüzdeki haftalarda kendi raporunu yayımlayacağını söylüyor. Bu noktada eleştirmenler haklı: hızlanmanın kanıtı ne kadar güçlüyse, bağımsız denetime açılması da o kadar önemli. Ateşi seven biri olarak söylüyorum; dumanı göremediğimiz ocağa güvenmek zor.
Kanıt aletleri de aynı ocaktan çıkıyor
Ama aynı haftanın öbür haberine bakın. Anthropic, bir çıktının hangi modelden geldiğini kriptografik olarak kanıtlamayı amaçlayan FlashProve'u açık kaynak olarak paylaştı. Şirket bunun ara sonuç olduğunu, şu an hiçbir laboratuvarda devreye alma planı bulunmadığını açıkça yazıyor; ben de abartmayacağım. Fakat yön önemli: "Bana güven" yerine "kontrol et" diyen araçlar ortaya çıkıyor. Model gizlice değiştirildi mi, iddia edilen model gerçekten o işi yaptı mı, bunlar artık doğrulanabilir sorular olmaya aday.
İşte benim cevabım bu. Hızlanan ateşe karşı en iyi savunma, ocağın kendisini kanıtlanabilir yapmak. Şeffaflığı da korkuyla değil, talep ederek kazanırız: satın alan kurum sorarsa, sağlayıcı cevap vermek zorunda kalır.
Pusula
- Ölçerek başlayın: AI kullanan ekiplerde "kendimizi daha hızlı hissediyoruz" yerine iş süresi, hata oranı ve geri dönüş sayısı gibi somut metrikler tutun; öz beyanla yetinmeyin.
- Model kimliğini kayda alın: Agent ve otomasyonlarda hangi modelin, hangi sürümle çalıştığını log'layın; doğrulanabilir çıkarım araçlarını tedarik kriterleriniz arasında takip edin.
- Şeffaflığı sözleşmeye yazın: Tedarikçiden model değerlendirme raporu ve sürüm değişikliği bildirimi isteyin; vermeyen sağlayıcıyı kayda geçirin.
- Hızı küçük ve geri alınabilir işlerde kullanın: Yeni yetenekleri önce geri dönüşü kolay görevlerde deneyin, sonra genişletin.
