OpenAI, adversarial distillation kampanyalarına karşı aldığı önlemleri açıkladı: haftalık binlerce ila on binlerce hesap kapatılıyor
OpenAI, bir modelin çıktılarını izinsiz toplayıp benzer yetenekte ama güvenlik önlemi olmayan bir model eğitme girişimlerini "adversarial distillation" olarak tanımladı. Şirket bu yıl platformunda birden fazla kampanya gördüğünü, GPT-6.2 Astra'da korunan reasoning'i sızdırma saldırılarının başarı oranını kendi testlerinde yüzde 1'in altına indirdiğini söylüyor.

OpenAI, 20 Kasım'da yayımladığı yazıda "adversarial distillation" adını verdiği bir tehdide karşı neler yaptığını anlattı. Distillation, bir modelin başka bir modelin ürettiği verilerden öğrendiği yaygın bir makine öğrenmesi tekniği. OpenAI'ın tarif ettiği kötü niyetli sürümde ise bir aktör, frontier bir modelin çıktılarını izinsiz kullanarak benzer yetenekte bir model eğitiyor ve bu modeli aynı güvenlik önlemleri olmadan dağıtıyor. Şirketin asıl kaygısı siber güvenlik ve biyoloji gibi dual-use alanlar.
OpenAI'a göre bu yıl platformda birden fazla izinsiz kampanya görüldü. Haftalık yaptırımlar binlerce ile on binlerce hesap arasında değişmiş ve hız bu yaz belirgin şekilde artmış. Şirket, Şubat'ta ABD Kongresi'ne DeepSeek'in ABD frontier modellerini distill etmeye çalıştığına işaret eden faaliyet hakkında bilgi verdiğini, Eylül raporunda ise engellenen bir kampanyanın ana kısmını Kimi'nin geliştiricisi Moonshot AI ile bağlantılı kişilere atfettiğini hatırlatıyor. Bu atıflar OpenAI'ın kendi değerlendirmesi; ilgili şirketlerin yanıtı yazıda yer almıyor.
SiberMagazin SiberMagazin YouTube'daKısa videolar ve Haftalık Güvenlik Raporu; yeni bölümler için kanala abone olun.Kanala git ›Korunan reasoning neden hedefte?
Yazının merkezinde reasoning modellerinin "düşünme" adımları var. OpenAI'ın kendi siber güvenlik transfer çalışmasında, birebir reasoning izleriyle eğitilen öğrenci model, yalnızca özetlerle eğitilene göre genelde daha iyi sonuç vermiş. Yani bu izler, kopyalamak isteyen için en değerli veri. Şirketin adaptive red teaming testlerinde, önceki bir istekteki korunan reasoning'i sızdırma saldırılarının başarı oranı eski önlemlerle GPT-6 Astra'da yüzde 54,0 iken güncellenen GPT-6.2 Astra'da yüzde 0,2'ye inmiş. Mevcut istekteki reasoning için oranlar yüzde 22,9 ve yüzde 0,9. Rakamlar üreticinin kendi ölçümü.
Hangi önlemler alındı?
- Başarılı saldırılarla adversarial training: model, korunan reasoning'i açıklamayı reddetmeyi öğreniyor.
- Girdide çıkarma girişimlerini, çıktıda sızıntıları yakalayan classifier'lar; streaming yanıtlar ve tool-call argümanları da kapsamda.
- API düzeyinde reasoning konuşma geçmişine bağlanıyor; önceki bir mesaj değiştirilirse sonrasındaki reasoning düşürülüyor. Başka bir kullanıcının şifreli reasoning'ini açığa çıkarabilecek bir yol da kapatılmış.
- Kampanya düzeyinde hesap ağlarına toplu yaptırım ve diğer model sağlayıcılarla IOC paylaşımı.
Neden önemli?
Model ağırlıkları çalınmadan da yetenek kopyalanabiliyor; API'nin kendisi bir saldırı yüzeyi. Güvenlik önlemi taşımayan bir kopya, özellikle exploit geliştirme gibi alanlarda frontier modelin reddettiği işleri yapabilir.
Kimin işine yarar / ne yapabilirsiniz?
- Kendi modelini API ile sunan ekipler, OpenAI'ın önerdiği gibi saldırı loglarını regression test olarak saklayıp istek ve kampanya düzeyindeki savunmayı birlikte kurmalı.
- OpenAI API'sinde reasoning'i yeniden kullanan geliştiriciler, konuşma geçmişini değiştirdiklerinde reasoning'in düşebileceğini hesaba katmalı; şirket bunun için geliştirici dokümanındaki "keep prefix unchanged" rehberine yönlendiriyor.
- Kurumlar, açık ağırlıklı ya da kaynağı belirsiz modelleri seçerken eğitim verisinin nereden geldiğini ve güvenlik testlerini sorgulamalı.
Her haberi değil, yalnızca seçtiğiniz üretici ve konulardaki acil uyarıları alın: tarayıcı bildirimi ya da e-posta ile.




