IBM'den prompt injection'a karşı yeni yaklaşım: LLMON işaretleme dili, Granite 4.1 3B ve 8B önizleme modelleriyle yayında
IBM Granite ekibi, talimat ile veriyi özel token'larla ayıran LLMON adlı işaretleme dilini ve bu dille eğitilmiş iki deneysel modeli Hugging Face'te yayımladı. IBM, modellerin prompt injection saldırılarını büyük ölçüde engellediğini iddia ediyor; modeller üretim kullanımı için değil.
IBM'in Granite ekibi 12 Kasım'da Hugging Face blogunda LLMON (LLM Object Notation, "lemon" diye okunuyor) adlı yeni bir işaretleme dilini tanıttı. Dil, bir istemin (prompt) içindeki talimatı, veriyi ve gereksinimleri ayrı ayrı etiketlenmiş bloklara ayırıyor. Blokları sınırlayan işaretler sıradan metin değil, modele ayrılmış özel token'lar. Bir "exec" bloğu ise hangi talimatın hangi veriye uygulanacağını bağlıyor.
Amaç, LLM güvenliğinin en eski sorunlarından birini yapısal olarak çözmek: model, okuduğu bir e-postanın ya da web sayfasının içine gizlenmiş komutu kendi talimatı sanmasın.
Modeller ve iddialar
IBM, Granite 4.1 temel modelinden türetilen iki deneysel model yayımladı: granite-4.1-3b-llmon-preview ve granite-4.1-8b-llmon-preview. Ekip modellerin üretim için olmadığını açıkça belirtiyor.
Blogdaki rakamlar IBM'in kendi ölçümleri. Şirkete göre OPI benchmark'ında LLMON kullanmayan modeller saldırılara "çok açık"; LLMON modelleri ise en iyi frontier modele göre yüzde 47, en iyi açık kaynak modele göre yüzde 95 daha fazla saldırıyı engelliyor. IBM, ASB ve StruQ testlerinde de benzer eğilim gördüğünü, genel yeteneklerin Granite 4.1 Instruct modelleriyle aynı düzeyde kaldığını söylüyor. Ayrıntılı skorlar yalnızca grafiklerde. Eğitimde GRPO aşamaları ve 1.000 tercih çiftiyle son bir DPO aşaması kullanılmış; veri içine bilerek "tuzak" bloklar konmuş.
Neden önemli?
Prompt injection bugün AI agent'larının e-posta okuması, tarayıcı kullanması ve araç çağırması önündeki en büyük güvenlik engeli. Mevcut savunmaların çoğu sistem istemine eklenen uyarılara ya da ayrı bir filtre modeline dayanıyor. LLMON ise ayrımı modelin söz dizimine gömmeyi deniyor. Yaklaşım işe yararsa, talimat ile veri arasındaki sınır geleneksel yazılımdaki parametreli SQL sorgusuna benzer bir yapıya kavuşabilir. Ancak sonuçlar şimdilik yalnızca üreticinin testlerine dayanıyor ve bağımsız red team çalışmaları henüz yok.
Kimin işine yarar / ne yapabilirsiniz?
- Agent geliştiren ekipler: Modeller sohbet şablonuyla geliyor; mesajlara
instruction,dataverequirementparçaları ekleyipapply_chat_templateile çalıştırılıyor. Dönüştürücüler ve örnek defterler GitHub'daki llmon deposunda. - Güvenlik ekipleri: Kendi prompt injection test setlerinizi bu modellere karşı çalıştırıp üreticinin iddiasını doğrulayabilirsiniz; IBM ayrıca dikkat dağılımını gösteren bir Hugging Face Space yayımladı.
- Lisans: Blog yazısı lisans belirtmiyor; kullanmadan önce model kartlarını kontrol edin.
- Önizleme modelleri üretim sistemlerine bağlamayın; mevcut agent'larda en az yetki ve insan onayı kuralları geçerliliğini koruyor.