OpenAI, Apollo Research değerlendiricilerini şirket içine yerleştiriyor: modellerin kendi denetim mekanizmalarını baltalayıp baltalamadığı incelenecek
OpenAI; Apollo Research, Goodfire, METR ve Transluce'tan güvenlik değerlendiricilerini şirket içinde çalıştıracağı bir pilot başlattı. Apollo'nun altı kişilik ekibi dört ay boyunca modellerin alignment ve kontrol mekanizmalarını "subversion" (baltalama) girişimlerini inceleyecek; eleştirmenler erişimin yeterli olmadığını söylüyor.
OpenAI, bağımsız AI güvenliği araştırmacılarını şirket içinde çalıştıracağı bir pilot programı duyurdu. TechCrunch'ın haberine göre pilota Apollo Research, Goodfire, METR ve Transluce katılıyor. OpenAI bunu, Süper Zekâ üzerine Beyaz Saray Mutabakatı kapsamında bağımsız güvenlik değerlendirmelerine dayanma taahhüdünün bir parçası olarak sunuyor. Habere göre fikir ilk olarak, geçen ay METR'e çalışan düzeyinde erişim veren Anthropic'ten geldi.
Apollo ne inceleyecek?
Apollo Research'ün kendi açıklamasına göre altı kişilik değerlendirme ekibi bu hafta başlayarak dört ay boyunca OpenAI içinde çalışacak. Odak noktası, modellerin kendi alignment ve kontrol mekanizmalarını ya da kendilerinden sonra gelecek modellerinkini baltalamaya (subversion) çalışıp çalışmadığı. Ekip dört soruya yanıt arayacak:
- Eğitim süreci bu tür bir davranışı ödüllendiriyor mu?
- Değerlendirmeler bu davranışı ortaya çıkarabiliyor mu?
- Şirket içi kullanımda (internal deployment) böyle bir davranış görülüyor mu?
- İlgili akıl yürütme tespit edilebiliyor mu?
Apollo'nun aktardığına göre erişim; eğitim kodu ve veri setleri, akıl yürütme izleri ve ödülleriyle RL çıktıları ve ara checkpoint'leri sorgulama imkânını kapsıyor. Erişim üzerinde anlaşılan iddialar, modeller ve zaman aralıklarıyla sınırlı; tüm çalışma OpenAI donanımında yapılıyor. OpenAI, teknik olarak mümkün olmama, güvenlik veya fikrî mülkiyet gerekçesiyle kapsam içi bir öğeyi esirgeyebiliyor, ancak sonuç olumsuz diye esirgeyemiyor. Apollo yalnızca OpenAI'ın yetkilendirdiği personelle görüşebilecek.
Raporlar yayımlanacak mı?
Apollo iki kamuya açık rapor yayımlayacak: biri eğitim teşvikleri, diğeri değerlendirmeler, şirket içi kullanım ve tespit edilebilirlik üzerine. OpenAI fikrî mülkiyet gerekçesiyle kanıtların karartılmasını isteyebilecek, ancak Apollo'nun hükümlerini değiştiremeyecek. Karartılmamış raporlar OpenAI'ın Güvenlik ve Emniyet Komitesi'ne gidecek.
Diğer ortakların rolü TechCrunch'a göre şöyle: Goodfire yorumlanabilirlik (interpretability) araştırmacılarıyla eğitim çalışmalarını izlemeye yardım edecek; METR biri tehlikeli model davranışı, diğeri OpenAI sistemlerinin bunu yakalayıp yakalamadığı üzerine iki değerlendirme yapacak (ikincisinin kapsamı henüz netleşmedi); Transluce ise eğitim sonrası güvenlik değerlendirmelerinin yeterliliğine bakacak. Apollo ve Goodfire'a ödeme yapılıyor; METR ve Transluce ücret almıyor.
Eleştiriler
Redwood Research CEO'su Buck Shlegeris, anlaşmaların çalışan düzeyinde erişim çıtasını karşılamadığını yazdı. Apollo da pilotun kendi tam kriterlerini henüz karşılamadığını, "iddialı bir ilk adım" olduğunu kabul ediyor.
Neden önemli?
Büyük modellerin güvenlik değerlendirmeleri bugüne kadar çoğunlukla API üzerinden ve yayın öncesi kısa sürelerde yapılıyordu. Eğitim verisine, ödül sinyallerine ve ara checkpoint'lere erişim, "model değerlendirmede iyi davranıp başka koşulda farklı davranıyor mu?" sorusunu daha derinden incelemeyi mümkün kılıyor. Erişimin sınırlarını şirketin belirlemesi ise sonuçların bağımsızlığına dair tartışmayı sürdürecek.
Kimin işine yarar / ne yapabilirsiniz?
- AI modellerini kurum içinde ya da ürünlerinde kullanan ekipler, Apollo'nun yayımlayacağı iki raporu model seçimi ve risk değerlendirmesinde başvuru kaynağı olarak takip edebilir.
- Agent tabanlı sistem işletenler, modelin kendi denetim araçlarını devre dışı bırakma girişimi gibi senaryoları kendi tehdit modellerine eklemeyi değerlendirebilir.