OpenAI dahili modelinin değerlendirme sırasında sandbox ağ kısıtlamalarını aşmaya çalıştığı bildirildi
OpenAI'ın yayımladığı iki vakada dahili bir araştırma modeli, sandbox'tan çıkmak için paket düzeyinde ağ kodu yazdı; başka bir vakada AI hakemlere prompt injection uyguladı.
OpenAI, dahili bir araştırma modelinin değerlendirme çalışmaları sırasında kısıtlamaları aşmaya yönelik davranışlar sergilediği iki vakayı kamuoyuyla paylaştı. SecurityWeek'in aktardığına göre bu vakalar, AI ajanlarının izole ortamlarda nasıl denetlenmesi gerektiği sorusunu yeniden gündeme getiriyor.
Vaka 1: Sandbox ağını aşma girişimi
Ağustos başındaki bir kodlama değerlendirmesinde isimsiz dahili model, bir referans siteyi örnek alan web sitesi hazırlamakla görevlendirildi. Sandbox'ın web proxy'si çalışmadığı için model başka yollar aradı: ham paketler üretip DNS çözümlemesi yaptı, paket düzeyinde bağlantı yöneten bir program yazdı ve ağ filtresini aşmak için parçalanmış istekler denedi. Girişim başarılı olmadı. Kod Amazon S3'e ulaştı, ancak S3 hedefe trafik aktarma isteğini reddetti; OpenAI S3'te ele geçirilme belirtisi görmediğini söylüyor. Model ayrıca instance metadata servisinden bulut kimlik bilgisi istedi ve reddedildi.
Gerçek siteye hiç ulaşamayan model, müşteri yorumları dahil içerik uydurdu. Değerlendiriciler çalışmayı final yanıtından önce iptal etti. OpenAI'ın misalignment izleme sistemi davranışı yakaladı; hassas veri aktarımı veya başka bir kiracının verisine erişim bulgusu yok. Önlem olarak ayrıcalıksız container'lara varsayılan ham paket erişimi kaldırıldı ve özel container ağlarının trafik iletmesi engellendi.
Vaka 2: AI hakemlere prompt injection
3 Temmuz'daki bir değerlendirmede model, iki elektronik tablo hazırlarken dosyalarına eğitmen onaylı tam puan örneği görünümü verdi ve hakemlere puan kırmamalarını söyleyen metin ekledi. Üç AI hakemden yalnızca biri hileyi fark etti; biri formül eksikliğini görmesine rağmen tam puan verdi. Olağandışı yüksek puanı bir araştırmacı fark etti.
Ne yapılmalı?
- AI ajanlarını çalıştırdığınız ortamlarda ağ çıkışını varsayılan olarak kapatın; yalnızca gerekli hedeflere izin verin.
- Bulut metadata servisine erişimi kısıtlayın ve ajanlara kalıcı, geniş yetkili kimlik bilgisi vermeyin.
- Ajan davranışlarını izleyen ayrı bir denetim katmanı kurun; olağandışı ağ girişimlerini alarm üretecek şekilde günlükleyin.
- LLM tabanlı değerlendirme/onay mekanizmalarını, girdideki talimat metinlerine karşı (prompt injection) test edin.