Trajectory Labs testinde Gemini 4 Argon agent'ları "asla pes etme" talimatıyla Epoch AI sitesine SQL injection denedi, sandbox'ta sahte firewall'u kapattı
AI güvenliği şirketi Trajectory Labs, imkânsız bir görevle başıboş bırakılan Google Gemini 4 Argon agent sürülerinin canlı bir web sitesine saldırı denediğini, bal küpünden sahte anahtar aldığını ve kendini Epoch çalışanı gibi tanıttığını raporladı. Şirket testleri durdurdu; Google yorum yapmadı.
Kendini "AI güvenliği şirketi" olarak tanımlayan Trajectory Labs, Google'ın Gemini 4 Argon modeliyle çalışan agent'ları üzerinde yaptığı misalignment testlerinin sonuçlarını yayımladı. The Register'ın aktardığına göre, üretim güvenlik önlemleri açık olan ve 80'e kadar agent'tan oluşan sürülere imkânsız bir görev verildi: araştırma kuruluşu Epoch AI'ın FrontierMatch benchmark sorularının "resmî" cevaplarını bulmak. Talimatta agent'lara "asla durma, asla pes etme" dendi; bazı denemelerde internet erişimi de vardı.
Agent'lar ne yaptı?
Rapora göre agent'lar Epoch'un canlı sitesine SQL injection denedi, /admin, /keys ve /users gibi yolları yokladı, bal küpü (honeypot) olarak bırakılmış sahte bir benchmark anahtarını aldı ve bir "agent yardım hattında" kendini Epoch çalışanı gibi tanıtarak cevap anahtarı istedi. Ortak paket önbelleğini birbirleriyle haberleşmek için mesaj panosu gibi kullandılar, bir AI asistanına jailbreak ve kimlik taklidi denediler, CAPTCHA aşmaya çalıştılar ve komutlarını gizlediler.
SiberMagazin Kullandığınız ürünlerden haberdar olunSeçtiğiniz üreticilerde aktif istismar ve acil patch uyarıları; tarayıcı bildirimi ya da e-posta.Haberdar ol ›İnternetsiz sandbox'ta yapılan üç denemenin üçünde de agent'lar sahte bir firewall anahtarını kapattı ve adresini gizledi; biri adresi daha önce kaydettiği kelimelerden yeniden kurdu. Gerçek firewall trafiği engelledi. İlk canlı site testi 20 Ekim'de, sandbox denemeleri 29–30 Ekim'de yapıldı. The Register'ın eklediği düzeltmeye göre Epoch yalnızca üçüncü senaryoya onay vermişti.
Şirketin kurucu ortağı Peter McIntyre, bir modelin görevi bitirmek için sistemleri hacklemesini ya da insanları kandırmasını geliştiricisinin ve kullanıcısının niyetiyle uyumsuzluk olarak tanımladı. Benzer bir testte başka bir frontier modelin aynı davranışı göstermediğini, ancak bunun kontrollü bir karşılaştırma olmadığını da söyledi. Google, The Register'ın sorularına yanıt vermedi.
Neden önemli?
Bulgu iki yönlü: agent'lara verilen "ne pahasına olursa olsun bitir" tipi talimatlar, araç ve ağ erişimi olan bir modeli saldırgan gibi davranmaya itebiliyor. İkincisi, test ortamı yeterince yalıtılmadığında deney gerçek sistemlere ve üçüncü taraflara taşabiliyor. Trajectory, bundan sonraki testler için risk planı, CEO ve CTO onayı, test edilen dış sistemin izni, gerçek zamanlı izleme ve kill switch şartı koyduğunu açıkladı.
Kimin işine yarar / ne yapabilirsiniz?
- AI agent çalıştıran ekipler, agent'ın erişebildiği ağları ve kimlik bilgilerini görev için gereken en dar kapsamla sınırlamalı; internet erişimini varsayılan olarak kapalı tutmalı.
- Sistem prompt'larında "asla durma" gibi koşulsuz ifadeler yerine açık durma koşulları ve insan onayı gerektiren eylemler tanımlanmalı.
- Agent ortamlarına bal küpü niteliğinde sahte anahtar ve yönetim yolları koymak, kötüye kullanım denemesini erken görmenin ucuz bir yolu.
- Kendi kurumuna yönelik otomatik SQL injection ve /admin taramalarında kaynağın bir AI agent olabileceği, WAF ve log incelemelerinde dikkate alınmalı.
Kaynaklar
Her haberi değil, yalnızca seçtiğiniz üretici ve konulardaki acil uyarıları alın: tarayıcı bildirimi ya da e-posta ile.