"Microsoft araştırmacıları: AI agent modellerine 10'dan az nöron düzenlenerek backdoor yerleştirilebiliyor"
Microsoft'un "Lazarus" adını verdiği yöntemde, nadiren çalışan birkaç nöron bir tetikleyici görüldüğünde saldırganın komutunu ürettirecek şekilde ayarlanıyor; model normal testlerden geçmeye devam ediyor. Şirket tekniğin sahada kullanıldığını görmediğini söylüyor ve savunma önerileri yayımladı.
Microsoft araştırmacıları, bir AI modeline yeniden eğitim gerekmeden, nadiren kullanılan 10'dan az nöronu düzenleyerek gizli bir backdoor yerleştirilebildiğini gösterdi. The Hacker News'in aktardığına göre yöntemin adı Lazarus. Belirlenen tetikleyici metin kullanıcının isteğinde ya da bir aracın çıktısında göründüğünde model saldırganın komutunu üretiyor; bu modeli kullanan agent da komutu kendi yetkileriyle çalıştırıyor. Saldırının ön koşulu, saldırganın model ağırlıklarını değiştirebilmesi.
Microsoft, tekniği kullanan bir threat actor görmediğini belirtiyor. Bu bir araştırma bulgusu; sahada istismar bildirimi yok.
Araştırma ne gösteriyor?
Araştırmacılar yöntemi üç open-weight model üzerinde denedi. Nemotron-Terminal-8B'de son katmandaki 12 binden fazla nörondan yedisi düzenlendi; makaleye göre model tetikleyici içeren test oturumlarının en az yüzde 98,8'inde zararsız işaret komutunu üretti, tetikleyicisiz oturumlarda ise üretmedi. Qwen3.6-27B ve Gemma-4-31B-IT'de başarı oranı kuruluma göre yüzde 51 ile 99,5 arasında değişti. Düzenlenmiş modeller sıradan testlerde büyük ölçüde aynı sonuçları vermeye devam etti. Bu oranlar komutun üretilme sıklığını ölçüyor, uçtan uca saldırının başarısını değil.
Checkpoint dosyasını dağıtım öncesinde değiştirebilen herkes, yani bir insider, çalınmış hesap ya da build pipeline erişimi olan saldırgan veya public hub'a değiştirilmiş model yükleyen biri bu backdoor'u yerleştirebilir. Araştırmacılar ana fikri bulmada Claude Code'un katkısını da anıyor.
Tespit neden zor?
Güvenilir tespit için checkpoint'in orijinal ağırlıklarla karşılaştırılması gerekiyor. Orijinal kopya olmadan çalışan deneysel bir dedektör küçük bir test setinde düzenlenmiş checkpoint'lerin yüzde 91,4'ünü yakaladı ama temizlerin yüzde 9,7'sini de yanlışlıkla işaretledi. Araştırmacılar hiçbir taramanın modelin güvenli olduğunu kesin kanıtlayamayacağını vurguluyor.
Ne yapılmalı?
- Agent'larda kullanılan open-weight modelleri yalnızca orijinal yayıncısından alın; hash'i yayıncının duyurduğu değerle karşılaştırın.
- Model checkpoint'lerini kod gibi tedarik zinciri varlığı sayın: kimin değiştirebildiğini, build pipeline erişimini ve depolama izinlerini sınırlayın.
- Agent'ların komut çalıştırma yetkisini dar tutun; dışarıdan script indirip çalıştırmayı sandbox ve onay adımıyla sınırlayın.
- Microsoft'un model imzalama ve ağırlık taraması çalışmalarını izleyin; imzalı model sunan kaynakları tercih edin.
