Altman'ı görevden alan eski OpenAI yönetim kurulu üyesi Helen Toner: AI güvenliği tek bir kişiye güvenmeye dayanıyorsa işimiz zor
Georgetown CSET'in başındaki Helen Toner, The Verge'ün Decoder podcast'inde alignment'ın tek bir sorun olmadığını, kullanıcının istediğini yaptırma hedefinin bile çözüm yolunda görünmediğini ve savunma tarafındaki AI agent'ların saldırgandan çok daha güçlü güvence gerektirdiğini söyledi.
2023'te Sam Altman'ı görevden alma oyu veren dört OpenAI yönetim kurulu üyesinden biri olan Helen Toner, The Verge'ün Decoder podcast'ine konuştu. Toner bugün Georgetown Üniversitesi'ndeki Center for Security and Emerging Technology'nin (CSET) icra direktörü. Röportajın ana fikri başlıkta: AI güvenliği planı herhangi bir kişinin güvenilir olmasına dayanıyorsa "işimiz bitik". Verge'ün notuna göre görüşme, Nvidia'nın Jensen Huang soruşturması başlamadan önce kaydedildi.
Alignment tek bir sorun değil
Toner'a göre "alignment" kelimesi birbirinden çok farklı üç hedefi kapsıyor: şirketin koyduğu guardrail'lerin işe yaraması (biyolojik silah ya da siber saldırı yardımını reddetmek), modelin kullanıcının istediğini tam olarak yapması ve modelin geniş anlamda "iyi" davranması. Toner en tutarlı hedefin kullanıcının istediğini yaptırmak olduğunu, ama bunun bile şu an çözülme yolunda görünmediğini söylüyor. Alignment'ın bir kez "çözülecek" bir şey olduğundan da emin değil.
Siberde güven dengesizliği
Konuşmanın güvenlik ekiplerini en çok ilgilendiren kısmı agent yetkileri. Toner'a göre saldırgan çok sayıda agent'ı "git, dene" diye salabilir; yanlış davranan agent ona bir şey kaybettirmez. Savunma tarafında ise AI agent'a yazılımı değiştirme ve sistemlere dokunma yetkisi vermek gerekir. Bu yüzden savunmanın çok daha güçlü güvencelere ihtiyacı var. Toner, agent'lara daha fazla otonomi ve yetki verme yönünde güçlü bir teşvik olduğunu, bunun da kendisini tedirgin ettiğini ekliyor.
Neden önemli?
Verge'ün aktardığına göre ABD yönetiminin ileri model laboratuvarlarına yanıtı gönüllü bir uzlaşı oldu ve bu uzlaşı kısmen, OpenAI'da işlemeyen türden yönetim kurulu denetimine dayanıyor. Bu hafta Beyaz Saray görev gücünün AI kaynaklı siber olaylarda şirketlere sorumluluk esnekliği önerisi ve Anthropic'in halka arz takvimi de aynı soruyu gündemde tutuyor: güvenlik taahhütlerini ticari baskıya karşı ne koruyacak?
Kimin işine yarar / ne yapabilirsiniz?
- AI agent kullanan güvenlik ve BT ekipleri, agent'a verilen yetkiyi Toner'ın "savunmacı daha güçlü güvence ister" ölçüsüyle gözden geçirebilir: hangi agent neye dokunabiliyor, kim onaylıyor, kayıt tutuluyor mu?
- Tedarikçi seçerken "modelimiz align edildi" iddiasında hangi anlamın kastedildiğini sorun: guardrail mi, kullanıcı niyetine uyum mu?
- Yönetim kurulları ve uyum ekipleri, AI güvenliğini tek bir yöneticinin sözüne değil, denetlenebilir süreçlere bağlamalı.