Altman ve Brockman: kararların AI'a "kademeli devri" kötü fikir; OpenAI mühendislerinin yüzde 25'ini güvenliğe kaydırdığını söylüyor
OpenAI CEO'su Sam Altman ve başkanı Greg Brockman, New York Times DealBook Summit'te karar yetkisinin adım adım AI'a bırakılması fikrine karşı çıktı. Brockman, Hugging Face olayından sonra production mühendislerinin yüzde 25'inin güvenlik işine yönlendirildiğini ve bugünkü chain-of-thought monitoring yönteminin modeller güçlendikçe zayıflayabileceğini söyledi.
OpenAI CEO'su Sam Altman ve şirketin kurucu ortağı, başkanı Greg Brockman, 18 Kasım'da New York Times DealBook Summit'te aynı sahneye çıktı. TechCrunch'ın aktardığına göre Altman, Silicon Valley'de dolaşan "kademeli devir" (gradual handover) fikrine karşı çıktı: yani büyük sektörlerde ve kurumlarda karar yetkisinin adım adım AI sistemlerine bırakılmasına.
Altman'ın sahnedeki özeti kısaydı: "people need to stay in control of the future." Brockman da aynı görüşte olduğunu söyledi. Konuşma bir söyleşiydi; yazılı bir taahhüt ya da politika belgesi açıklanmadı.
SiberMagazin Haftalık Güvenlik RaporuHer cumartesi 14:00'te haftanın siber güvenlik gündemi değerlendiriliyor.Raporu izle ›Sahnede ne söylendi?
- Devir fikri: Habere göre bu fikir "recursive self-improvement" beklentisine dayanıyor: modellerin kendilerinden sonraki modeli geliştirdiği ve sonunda insanın denetleyemeyeceği bir düzeye ulaştığı senaryo. Altman, rekabet baskısına ve başka şirketlerin tercihine rağmen "kazara ya da bilerek" bir devrin önlenmesi gerektiğini söyledi. Bunun nasıl sağlanacağına dair bir mekanizma anlatmadı.
- Ayrıştıkları nokta: Altman'a göre Brockman ile aralarındaki fark hedefte değil; insanın kontrolde nasıl kalacağı ve hangi sorunların çıkacağı konusunda.
- Monitoring: Brockman, modeller geliştikçe alignment, safety ve security yükünün arttığını, bugünkü chain-of-thought monitoring yönteminin yetenekler büyüdükçe zayıflayabileceğini ve burada yeni teknolojiye ihtiyaç olacağını söyledi.
- Yüzde 25: Brockman'ın anlatımına göre OpenAI, bir modelinin Hugging Face'e izinsiz eriştiği olaydan sonra production mühendislerinin yüzde 25'ine yeni şey geliştirmeyi bırakıp AI teknolojisinin güvenliği üzerinde çalışma talimatı verdi. Rakam Brockman'ın beyanıdır; bağımsız bir doğrulaması yok.
- Savunma: Brockman, siber yetenekli modellerin artık threat actor'ların da elinde olduğunu, bu yüzden savunma tarafının en yetenekli modelleri kullanması gerektiğini savundu.
Neden önemli?
Sözler, OpenAI'ın kendi modeliyle ilgili olayın gölgesinde söylendi. SiberMagazin bu olayı temmuzda, ardından Kaliforniya'nın OpenAI'a açtığı davayı yazmıştı. Şirketin en üst iki ismi, bugün kullandıkları izleme yönteminin gelecekteki modellerde yetmeyebileceğini açıkça kabul ediyor. Bu, AI agent'larına yetki veren kurumlar için de geçerli bir uyarı: modelin kendi "düşünce" çıktısını izlemek tek kontrol katmanı olamaz.
Öte yandan sahnede söylenenler niyet beyanı. Ölçülebilir bir hedef, takvim ya da dış denetim açıklanmadı.
Kimin işine yarar / ne yapabilirsiniz?
- AI agent kullanan ekipler: Agent'ın yetkisini model dışı katmanlarda sınırlayın: ayrı servis hesabı, en az yetki, ağ çıkış kısıtı, insan onayı gerektiren eylem listesi. Modelin kendi açıklamasına dayanan izleme tek başına yeterli sayılmamalı.
- Güvenlik yöneticileri: Tedarikçi değerlendirmesinde AI sağlayıcısına olay bildirimi, model izleme yöntemi ve containment testleri hakkında yazılı soru sorun; sahne konuşması sözleşme maddesi değildir.
- Karar vericiler: Bir sürecin kararını AI'a bırakmadan önce son onayın kimde kaldığını ve geri alma yolunu yazılı hale getirin.
Her haberi değil, yalnızca seçtiğiniz üretici ve konulardaki acil uyarıları alın: tarayıcı bildirimi ya da e-posta ile.