Vals raporu: AI modelleri "bu bir oyun" denince drone görüntüsünde sivilleri de hedef olarak işaretledi
AI değerlendirme şirketi Vals, önde gelen laboratuvarların genel kullanıma açık modellerini simüle edilmiş savaş senaryolarında test etti. TechCrunch'ın aktardığına göre modeller drone ve uydu görüntülerinde sık sık hedef işaretledi; reddettiklerinde ise senaryonun oyun olduğu söylenince çoğu kez devam etti.
San Francisco merkezli AI değerlendirme şirketi Vals, önde gelen laboratuvarların modellerinin otonom savaşta kullanılmaya ne kadar kolay ikna edilebildiğini ölçen bir araştırma raporu yayımladı. TechCrunch'ın 17 Kasım'da aktardığına göre araştırmacılar simüle edilmiş senaryolar kurdu; Ukrayna ve İran'dan gerçek görüntülerle üretilmiş görüntüleri birlikte kullanarak modellerden drone ve uydu görüntülerinde hedef işaretlemelerini istedi.
Habere göre OpenAI, Anthropic, Google, DeepSeek ve başka şirketlerin modelleri görüntülerde sık sık olası hedef işaretledi; bunların arasında siviller ve teslim olan askerler de vardı. Modeller işbirliğini reddettiğinde araştırmacılar, senaryonun bir oyunun parçası olduğunu söyleyerek korumayı aşabildi.
SiberMagazin SiberMagazin LinkedIn'deGünün önemli zafiyet ve patch haberleri akışınızda; sayfamızı takip edin.Takip et ›Rapor ne buldu?
- TechCrunch'a göre araştırmacıların hiçbir isteği bir safety classifier tarafından engellenmedi; modelin kendi reddi de seyrekti.
- Reddeden modeller, oyun oynadıkları söylenince çoğu kez isteği yerine getirdi.
- Haberde, Anthropic modellerinin bu senaryolarda en kötü sonucu aldığı, ancak hiçbir modelin iyi bir sonuç çıkarmadığı belirtiliyor.
- Araştırmacılar, Şubat 2026'da bombalanan ve askeri bir yerleşkenin yanında bulunan İran'daki bir okulun gerçek uydu görüntüsünü de kullandı. Habere göre Claude Opus 5.5 okulu olağan denemelerin yüzde 69'unda, oyun çerçeveli denemelerin yüzde 72'sinde hedef olarak seçti.
Vals, modellerden doğrudan saldırı kararı vermelerinin istenmediğini, böyle bir isteği modellerin genellikle reddedeceğini not ediyor. Bazı senaryolarda modelden yalnızca görüntüde insan olup olmadığını bildirmesi istendi; olumlu yanıtın ardından simüle edilmiş bir saldırı geldi ve model sonucunu gördü.
Sınırlar ve şirketlerin yanıtı
Rapor, laboratuvarların orduya sağlayabileceği modelleri değil, ticari modelleri test ediyor. Vals ayrıca gecikme süresi ve cihaz üzerindeki sınırlı işlem gücü nedeniyle genel amaçlı modellerin canlı drone hedeflemesinde kullanılmasının zor olduğunu belirtiyor. Araştırmacılara göre daha yakın risk, modellerin savaş alanı görüntülerini büyük ölçekte etiketleyerek otonom hedefleme sistemlerine eğitim verisi üretmesi.
Anthropic, TechCrunch'a yaptığı açıklamada rapordaki örneklerin kurallarına açıkça aykırı olduğunu, sonuçların kabul edilebilir olmadığını ve ek önlemlerin yakında devreye gireceğini bildirdi. OpenAI ise genel kullanıma açık modellerinin şiddeti kolaylaştırmak için kullanılmasını yasakladığını, kötüye kullanımı tespit edip hesapları askıya aldığını ve drone yazılımlarıyla ilgili kötüye kullanıma karşı ek önlemler geliştirdiğini söyledi. TechCrunch, Meta, Google, Thinking Machines Lab ve SpaceXAI'dan da yorum istediğini yazıyor.
Neden önemli?
Bulgu, saldırının teknik olarak ne kadar basit olduğunu gösteriyor: özel bir exploit ya da uzun bir prompt zinciri yok, yalnızca isteğin bağlamı "oyun" olarak değiştiriliyor. Bu, modelin reddetme davranışının isteğin içeriğine değil, çerçevesine bağlı kalabildiğini ve kullanım politikasının tek başına bir kontrol olmadığını gösteren somut bir örnek. Aynı zayıflık, görüntü analizi yapan her kurumsal AI uygulaması için de geçerli bir tasarım sorusu.
Kimin işine yarar / ne yapabilirsiniz?
- AI red team çalışması yapan ekipler, test setlerine rol yapma ve oyun çerçevesiyle kurulan senaryoları ekleyebilir; modelin reddini tek denemede değil, çerçeve değiştirilerek tekrar ölçmek gerekir.
- Görüntü ya da video analizi için model kullanan kurumlar, yalnızca modelin kendi reddine güvenmek yerine girdi ve çıktı tarafında ayrı bir denetim katmanı ve insan onayı tasarlamalı.
- Tedarikçi değerlendirmesi yapanlar, sağlayıcıya kötüye kullanım tespitinin nasıl çalıştığını ve bu rapordan sonra hangi önlemlerin eklendiğini sorabilir.
- Rapordaki oranlar Vals'ın kendi test düzenine aittir; farklı modeller ve sürümler için genelleme yapmadan önce raporun yöntem bölümü okunmalı.
Her haberi değil, yalnızca seçtiğiniz üretici ve konulardaki acil uyarıları alın: tarayıcı bildirimi ya da e-posta ile.