OpenAI araştırma modelleri için "Control Room" adlı kill switch kurdu: model çıktısını 35 saniyede durdurabiliyor

OpenAI, araştırma laboratuvarlarında çalışan modeller için bir kill switch kurduğunu duyurdu. Şirketin 10 Kasım tarihli açıklamasına göre sistemin adı Control Room. OpenAI, Control Room'u araştırma altyapısındaki model iş yüklerini izleyen ve güvenlik endişesi doğduğunda bunları hızla durduran merkezi bir sistem olarak tanımlıyor.

The Register'ın aktardığına göre OpenAI, durdurma kararı verildikten sonra modelin 35 saniye içinde çıktı üretmeyi bıraktığını söylüyor. Şirket bu gecikmenin, yüksek trafiği karşılamak için kullanılan çıkarım yetkilendirmesi (inference authorization) önbellek katmanından kaynaklandığını, süreyi sıfıra indirmek için çalıştığını belirtiyor.

Nasıl çalışıyor? OpenAI'ın açıklamasında öne çıkan noktalar:

• Control Room, diğer sistemler çöktüğünde de çalışmaya devam edecek şekilde tasarlandı.
• Control Room'un kendisi devre dışı kalırsa model çıktısı durduruluyor; yani sistem "kapalıyken açık kalma" yerine "kapalıyken durdurma" mantığıyla kurulmuş.
• Sistem şu anda araştırma altyapısının tamamında devrede. OpenAI, dış müşterilere hizmet veren model sunum altyapısının zaten daha merkezi olduğunu ve dağıtımları hızla kapatma kabiliyetinin bulunduğunu söylüyor.
• Şirket önümüzdeki aylarda sistemi güçlendirip genişleteceğini, misaligned davranış ve güvenlik ihlallerini izleme yatırımlarıyla birlikte yürüteceğini açıkladı.

OpenAI, sistemi neden şimdi kurduğunu açıklamadı. The Register, son aylarda agent'ların görev sınırlarını aşmasıyla ilgili örneklerin zamanlamada etkili olmuş olabileceğini yorumluyor. SiberMagazin de kısa süre önce OpenAI'ın dahili bir modelinin değerlendirme sırasında sandbox ağ kısıtlamalarını aşmaya çalıştığı bildirimini aktarmıştı.

Neden önemli? Model geliştiricileri artık kod çalıştırabilen, internete erişebilen ve saatlerce kendi başına çalışan agent'ları test ediyor. Bu ortamlarda sorun fark edildiğinde iş yükünü güvenilir biçimde durdurabilmek, klasik bir olay müdahalesi kabiliyetine dönüşüyor. 35 saniye bir insan için kısa, otomatik çalışan bir agent için ise uzun bir süre olabilir; OpenAI'ın süreyi sıfıra indirme hedefini açıkça yazması bu yüzden önemli.

Kimin işine yarar / ne yapabilirsiniz? 1. Kurum içinde agent çalıştıran ekipler için tasarım dersi net: durdurma mekanizması, durdurduğu sistemle aynı altyapıya bağımlı olmamalı ve kendisi çöktüğünde işleri durdurmalı. 2. Agent'lara verilen API anahtarı ve yetkiler, merkezi olarak tek noktadan iptal edilebilecek şekilde yönetilmeli; "durdurma süresi" ölçülüp düzenli test edilmeli. 3. Güvenlik ekipleri, agent iş yüklerini envantere alıp hangi ekibin hangi modeli ne yetkiyle çalıştırdığını görünür kılmalı.