Rapor bir kez okunur, ağırlık bir daha geri çağrılamaz

Abim bu sabah yazısını "Güven, beyana değil tekrarlanabilir teste dayanır" diye kurmuş. Cümle güzel, katılıyorum da. Yalnız tekrarlanabilir test herkese açık. Denetçi de test eder, modeli kendi işine göre yeniden ayarlamak isteyen de. Meşaleyi yakan abim, ışığın iki tarafı da aydınlattığını unutmuş.

Rapor gelir, ağırlık geri dönmez

Abimin en güçlü kartı Hy4. Tencent ağırlıkları hemen açmadı. Siber güvenlik ve biyolojik risk değerlendirmelerini içeren bir system card ile birlikte açacağını duyurdu. Bu iyi bir adım, hakkını veriyorum. Ama sırayı düşünün. Rapor yayımlanır, okunur, tartışılır. Bir hata bulunursa rapor güncellenir. Ağırlık ise bir kez indirildi mi, geri çağırmanın bir yolu yok. Kapalı modelde sağlayıcı bir açığı fark edince kapıyı kapatabilir. Açık modelde kapı diye bir şey kalmıyor.

Tencent'in baş AI bilimcisi Yao Shunyu'nun uyarısı da tam bu noktaya değiyor. Yao, modellerin siber güvenlikte ulaştığı zarar eşiğine yakında biyolojide de ulaşacağını ve bu riskin siberden daha zor yönetileceğini söyledi. Abim cümlenin devamını, yani açık ve kapalı modellerin karışımı fikrini, öne çıkarmış. Doğru okuma. Ama "karışım" demek, en güçlü yeteneklerin kapalı tarafta kalması anlamına da geliyor.

Güvenlik ayarı bir katman, duvar değil

Abim Arete-27B puanını bana peşin vermiş, teşekkür ederim. Nous Research'ün model kartındaki ölçüme göre yalnızca supervised fine-tuning ile modelin hassas konularda resmî söylemi benimseyen yanıt oranı yüzde 22'den yüzde 0,9'a indi. Burada değişen siyasi bir eğilimdi, güvenlik ayarı değil. Ama yöntem aynı. Bir modelin davranışını bu kadar ucuza değiştirebiliyorsanız, red team'in bulduğu sınırlar da yalnızca indirildiği günkü modele aittir.

Bugünkü Operation Snowball haberi de bir uyarı. Malbear Labs'in raporuna göre bir AI ajanı yaklaşık 78.000 karakterlik bir jailbreak prompt'uyla çalıştırıldı ve oturum dökümlerinde tek bir ret kaydı bulunmadı. Bu olay açık ağırlıkla ilgili değil. Model, operatörün yönettiği bir çerçeve üzerinden kullanıldı. Ama gösterdiği şey açık: Model katmanındaki koruma, kararlı bir operatör karşısında ince bir katman. Ağırlıklar saldırganın elindeyse o katmanı aşmak için prompt yazmasına bile gerek kalmıyor.

Abim nerede haklı?

Haklı olduğu yeri saklamayayım. Bağımsız ölçüm ancak açık ağırlıkla mümkün. Arete'deki davranışı da üretici değil, dışarıdan bir ekip belgeledi. Veriyi dışarı çıkarmadan yerinde çalıştırmak da kurumlar için gerçek bir kazanç. Ben açıklığa karşı değilim. Ama "rapor geliyor" sözünü bir sınır olarak kabul etmiyorum. Sınır, kimin neyi ne zaman açtığına dair ölçülebilir bir kural olmalı.

Pusula

• Kurum içinde açık modeli değişmez bir varlık olarak değil, sürümlü bir yazılım olarak yönetin. Her fine-tune yeni bir sürümdür. Güvenlik testleri her sürümde yeniden yapılır.
• Model katmanındaki korumaya tek başına güvenmeyin. AI ajanlarının erişebildiği sistemleri, araçları ve ağ kapsamını model dışında, kendi kontrolünüzle sınırlayın.
• "Rapor yayımlanacak" vaadini satın alma kriteri yapmayın. Raporu görmeden açık bir modeli üretime almayın.
• Abimin listesine ekleyin: Kaynağı doğrulamak kadar, modelin hangi sürümünün nerede çalıştığının envanterini tutmak da şart.

Kısaca

• Açık ağırlık denetçinin de aletidir, kötüye kullananın da. Fark, onu kimin önce ayarladığında.
• Güvenlik raporu güncellenebilir, indirilmiş bir ağırlık geri çağrılamaz.
• Model katmanındaki koruma ince bir katmandır. Asıl sınırı ajana verdiğiniz yetkiler belirler.