METR raporu: Anthropic'in modelleri bir yıl öncesine göre yaklaşık iki kat hızlı gelişiyor, kanıtların çoğu karartıldı
Bağımsız AI güvenliği kuruluşu METR, Anthropic içinde 11 hafta süren incelemesinde şirketin modellerinin yaklaşık iki kat hızla geliştiğini ve bu hızlanmanın büyük bölümünün yapay zekâdan kaynaklandığını yazdı. Anthropic raporun önemli kısmını ticari gerekçeyle karartınca şeffaflık tartışması alevlendi.
AI güvenliği araştırma kuruluşu METR, Anthropic içinde yürüttüğü 11 haftalık incelemenin raporunu 5 Kasım Perşembe günü yayımladı. The Verge'ün aktardığına göre rapor, şirketin modellerinin bir yıl öncesine kıyasla yaklaşık iki kat hızlı geliştiğini ve bu hızlanmanın önemli bölümünün bizzat yapay zekâ kullanımından geldiğini söylüyor. Rapor aynı zamanda Anthropic'in kanıtların büyük kısmını karartması nedeniyle tartışma yarattı.
Raporda ne var?
METR'e göre benchmark sonuçları, Anthropic'in son bir yılda "kabaca iki yıllık tarihsel ilerleme" kaydettiğine işaret ediyor. Araştırmacılar hızlanmanın yalnızca eğitimde kullanılan hesaplama gücünün artmasıyla açıklanamayacağından emin olduklarını, ekim itibarıyla hızlanmanın çoğunun AI kaynaklı olduğunu yazıyor. Çalışanlarla yapılan görüşmeler ve iç anketlere göre şirketin en yetenekli iç modelini kullanan çalışanlar, kendilerini AI desteği olmadan olduğundan ortalama yaklaşık 12 kat daha üretken olarak değerlendiriyor; bu bir öz beyan.
Rapora göre hızlanma şimdilik daha çok insan araştırmacılara yardım eden AI'dan geliyor, ancak METR tamamen otonom katkının yakında daha büyük rol oynayabileceğine dair işaretler gördüğünü belirtiyor. Anthropic'in son altı ayda eğitimini tamamlayıp henüz yayımlamadığı üç model bulunduğu da raporda yer alıyor.
Karartma tartışması
METR, şirkete yaklaşık 100 sayfalık tam rapor sunduğunu ve kamuya açık sürümde en bilgilendirici bulduğu kanıtların çoğunun Anthropic tarafından karartıldığını açıkladı; bazı veri taleplerinin de reddedildiğini belirtti. Anthropic kurucu ortağı Sam McCandlish, hızlanmayı neyin sağladığını paylaşmanın ticari açıdan hassas olduğunu ve başkalarına "yol haritası" vereceğini savundu; şirketin önümüzdeki haftalarda AI ilerlemesinin hızı üzerine kendi raporunu yayımlayacağını söyledi. Bazı güvenlik araştırmacıları ve politika uzmanları ise kararın bağımsız denetimi zayıflattığını öne sürüyor.
Neden önemli?
Rapor, AI'ın kendi gelişimini hızlandırdığına dair şimdiye kadarki en somut kanıtlardan biri olarak görülüyor. Bu, frontier modellerin çıkış takviminin beklenenden kısa olabileceği ve düzenleyicilerin bağımsız değerlendirme ile şeffaflık konusunda daha fazla baskı yapabileceği anlamına geliyor.
Kimin işine yarar / ne yapabilirsiniz?
- Kurumsal AI ve risk ekipleri: Model yeteneklerinin hızla değişebileceğini varsayın; AI politikalarınızı ve agent yetkilerini yıllık değil daha sık aralıklarla gözden geçirin.
- Güvenlik ekipleri: AI destekli saldırı ve savunma araçlarının da aynı hızla gelişeceğini hesaba katın; tehdit modellerinizi buna göre güncelleyin.
- Politika ve uyum ekipleri: Bağımsız değerlendirme ve şeffaflık şartlarına ilişkin düzenleme tartışmalarını takip edin; tedarikçilerden değerlendirme raporlarını talep edin.
