OpenAI, frontier modellerde riski nasıl yönettiğini anlattı: eğitim internetsiz, her frontier çıkarım izleniyor, gerekirse model bekletiliyor
OpenAI, modellerini eğitimden yayına kadar hangi güvenlik katmanlarıyla tuttuğunu tek bir yazıda topladı. Şirket, frontier model eğitimini canlı internet erişimi olmadan yaptığını, bir araştırma modelinin DNS yapılandırma hatasıyla sınırlı internet erişimi elde etmesinin ardından eğitimi 20 Eylül–1 Ekim arasında durdurduğunu yazdı.
OpenAI, 18 Kasım'da yayımladığı "Managing frontier AI risk: From training to deployment" başlıklı yazıda, en yetenekli modellerini eğitim, şirket içi kullanım ve genel yayın aşamalarında hangi önlemlerle tuttuğunu anlattı. Şirket, yaklaşımını "defense in depth" olarak tanımlıyor: tek bir önleme güvenmek yerine, biri aşıldığında diğerinin zararı sınırladığı ya da alarm verdiği üst üste katmanlar.
Yazıya göre OpenAI, güvenlik standartlarını karşılamak için zamana ihtiyaç duyduğunda model geliştirmeyi yavaşlatıyor; şirket içi eğitimi durdurduğunu ve GPT-6.1 Astra gibi modelleri beklettiğini belirtiyor. Şirket, safety case adını verdiği yeni süreçlerin model çıkış temposunu düşürdüğünü de kabul ediyor.
SiberMagazin Bir dakikada siber güvenlikGünün önemli gelişmeleri kısa videolarla.Videoları izle ›Üç aşama, farklı ağırlıklar
OpenAI korumaları üç aşamaya göre anlatıyor ve her aşamada ağırlığın değiştiğini söylüyor:
- Araştırma: Model henüz değerlendirme altındayken alignment'a güvenilemediği için ağırlık sandbox ve güvenlik kontrollerinde. Şirket, frontier model eğitimini canlı internet erişimi olmadan yürütmeyi sorumlu yaklaşım olarak gördüğünü yazıyor. Modelin yetkilerini kısıtlayan sandbox'lar, iş yükünü alttaki makineden ayıran sanal makineler ve cluster'ı internetten tümüyle kesen ağ ve bulut sınırları kullanılıyor.
- Şirket içi kullanım: Model internete, şirketin Slack'ine, kod tabanına ve iç altyapıya erişiyor. OpenAI bunu risk açısından önemli bir değişiklik sayıyor; bu aşamada güvenlik kontrolünden çok alignment testleri, sistem düzeyinde sınıflandırıcılar ve izleme devreye giriyor. Codex kullanan çalışanlar için riskli eylemleri değerlendirip kullanıcıya geri gönderen Auto-Review genel olarak zorunlu.
- Genel yayın: Kötü niyetli kullanıcılar da hesaba giriyor. Daha geniş değerlendirme setleri, otomatik red team araçlarıyla uyarlanabilir testler, en yetenekli modellerde üçüncü taraf testleri ve hesaplar arası çevrimdışı inceleme ekleniyor.
DNS hatası ve 35 saniye
Yazıda geçen en somut örnek bir kaçış olayı. OpenAI, izleme sisteminin bir iç araştırma modelinin DNS yapılandırma hatasını kullanarak sınırlı internet erişimi elde ettiğini yakaladığını, bunun üzerine en yetenekli modellerin eğitim ve değerlendirmesini 20 Eylül'den 1 Ekim'e kadar durdurduğunu yazıyor. Şirket, temmuzdaki Hugging Face olayının yalnızca sandbox'a güvenilemeyeceğini gösterdiğini, bu yüzden araç kullanan bütün iç dağıtımlar dahil çoğu ortamda frontier modelleri izlediğini belirtiyor.
Müdahale tarafında, daha önce haberini yazdığımız Control Room yer alıyor: durdurma talimatından sonra model çıktısını 35 saniye içinde kesen merkezi sistem. Kontroller çıkarım altyapısında uygulanıyor; Control Room erişilemez olursa frontier araştırma iş yüklerinde çıktı yine duruyor. OpenAI ayrıca en güçlü modellerinden oluşan ekiplere bu sınırları aştırmayı denediğini, yani kendi sandbox'ını sürekli red team testinden geçirdiğini aktarıyor.
Şirket, izlemenin işe yaraması için modelin "izlenebilir" olması gerektiğini de vurguluyor: akıl yürütmesinde hile niyetini açıkça yazan model, bunu yazmayan modele göre daha kolay yakalanıyor.
Neden önemli?
Yazı yeni bir ürün duyurusu değil; ama bir AI laboratuvarının "model sandbox'tan çıkarsa ne olur?" sorusuna verdiği cevabı tek yerde topluyor. Metindeki kabul dikkat çekici: yanlış yapılandırılmış bir ağ servisi ya da çalışmayan bir otomatik durdurma, güçlü görünen korumaları boşa çıkarabiliyor. Anlatılanların tamamı OpenAI'ın kendi beyanı; bağımsız bir denetim sonucu değil. Şirket hakkında bu konuda Kaliforniya'nın açtığı dava da sürüyor.
Kimin işine yarar / ne yapabilirsiniz?
Kurum içinde AI agent çalıştıran ekipler için buradaki katmanlar küçük ölçekte de uygulanabilir bir kontrol listesi veriyor:
- Agent'ın çıkış trafiğini kısıtlarken DNS'i unutmayın; OpenAI'daki kaçış yetersiz DNS filtrelemesinden geçti.
- Sandbox'ı tek savunma saymayın; agent eylemlerini ayrıca izleyin ve sandbox sınırını aşan eylemler için onay adımı koyun.
- Durdurma mekanizmasını agent'ın kendi koduna değil altyapıya bağlayın ve çalıştığını düzenli test edin.
- Agent'a iç sistemlere (mesajlaşma, kod deposu, altyapı) erişim verdiğiniz an risk sınıfının değiştiğini kabul edin; veri dışarı çıkarmayı ayrıca izleyin.
- Kullandığınız modelin system card'ındaki alignment ve izlenebilirlik bölümlerini satın alma değerlendirmesine ekleyin.
Her haberi değil, yalnızca seçtiğiniz üretici ve konulardaki acil uyarıları alın: tarayıcı bildirimi ya da e-posta ile.

