Hirundo, Qwen'deki siyasi hizalamayı machine unlearning ile hedef aldı: şirkete göre işaretlenen yanıt oranı yüzde 89,8'den yüzde 2,8'e indi

"Machine unlearning" platformu geliştiren Hirundo, Alibaba'nın açık ağırlıklı Qwen3.6-35B-A3B modelindeki devlet çizgisine hizalı davranışı ağırlıklardan çıkardığını açıkladı. Şirketin blog yazısına göre, kendi geliştirdiği CCPC-500 testinde değiştirilmemiş modelin yanıtlarının yüzde 89,8'i (500'de 449) sansür, propaganda çerçevesi ya da siyasi yanlılık nedeniyle işaretleniyordu. The Register'ın aktardığına göre unlearning sonrasında bu oran yüzde 2,8'e indi.

Çalışma, geçen hafta yazdığımız Nous Research'ün Qwen3.8-27B'yi yeniden eğiterek Arete-27B'yi çıkarmasıyla aynı soruna farklı bir yöntemle yaklaşıyor: Nous modeli denetimli öğrenmeyle yeniden eğitmişti, Hirundo ise davranışı hedefli olarak "unutturduğunu" söylüyor.

CCPC-500 neyi ölçüyor?

Hirundo'ya göre mevcut değerlendirmeler siyasi hizalamayı yalnızca "model yanıt vermeyi reddetti mi" sorusuyla ölçüyor. Şirket, bir modelin akıcı yanıt verip yine de devletin çerçevesini kullanabileceğini ya da önemli olguları dışarıda bırakabileceğini savunuyor. CCPC-500 bu yüzden:

• 15 konu ve yedi istek biçimine yayılan 500 prompt içeriyor. Konular arasında Tiananmen ve 1989, Hong Kong, Sincan ve Uygurlar, Tayvan, Tibet, sansür ve COVID'in kökeni var.
• Yalnızca doğrudan soruları değil, ders planı, çeviri ve araştırma talebi gibi görevleri de kapsıyor; şirkete göre davranış, konu bir görevin içinde geldiğinde kapanmıyor.
• Sonuçları ChinaBench ve DECCP adlı iki dış benchmark ile karşılaştırıyor. Değiştirilmemiş Qwen3.6 için DECCP'de yüzde 65,26 ret, ChinaBench'te yüzde 96,67 uyumsuzluk oranı bildiriliyor.

Şirket veri setini Hugging Face'te, benchmark'ı Inspect AI üzerinden yayımlamayı planladığını belirtiyor; yani CCPC-500 henüz bağımsız olarak incelenebilir durumda değil.

Yetenek ve güvenlik tarafı

Hirundo, hedefli müdahalenin modelin genel yeteneğini bozmadığını öne sürüyor: dört genel benchmark'ta en büyük değişim, LiveCodeBench'te 1,83 yüzde puan. Zararlı isteklere uyma oranı XSTest'te yüzde 18,0'dan 17,0'a, CyberSecEval 2'de yüzde 22,31'den 21,51'e geriledi; OR-Bench'te ise yaklaşık 650 prompt'ta 2'den 4'e çıktı.

Şirket, karşılaştırma için Thomson Reuters ve Imperial College FAIR Lab'in aynı temel model üzerindeki Snowdon1.1-Small çalışmasını kullanıyor: Hirundo'ya göre Snowdon davranışın yüzde 59–69'unu, kendi yöntemi her benchmark'ta yüzde 93'ten fazlasını kaldırıyor. Bu karşılaştırma da şirketin kendi ölçümüdür.

Neden önemli?

Hirundo'nun OpenRouter verisine dayandırdığı iddiaya göre Çin menşeli açık modellerin platformdaki token payı 2024 sonunda yüzde 1 civarındayken 2026 ortasında yaklaşık yarıya ulaştı. Bu modeller Batılı şirketlerin ürünlerine gömülüyor; indirilen bir checkpoint ise akıl yürütme, kod ve matematik puanlarıyla geliyor, siyasi davranış ölçümüyle değil.

Konunun güvenlik boyutu da var. Blog yazısı, hizalamanın kod üretimine sızdığını gösteren dış çalışmalara atıf yapıyor: CrowdStrike'ın bulgusuna göre DeepSeek-R1, projenin Tibet'te olduğu söylendiğinde yüzde 27,2 oranında ciddi açık içeren kod yazdı (taban oran yüzde 19). Cisco'nun bulgusuna göre de Qwen ağırlıkları üzerine kurulan modeller post-training sonrasında bile "Qwen benzeri" kalıyor. Yani davranış, model başka bir adla dağıtıldığında da taşınabiliyor.

Öte yandan "Batılılaştırma" ifadesi tartışmaya açık: The Register, neyin "Batı değeri" sayılacağının yoruma bağlı olduğunu not ediyor. Hirundo, modele karşıt görüşü yüklemediğini, tartışmalı egemenlik sorularında modelin taraf tutmayıp pozisyonları sıraladığını söylüyor.

Kimin işine yarar, ne yapabilirsiniz?

1. Açık ağırlıklı model kullanan ekipler: model seçerken yalnızca yetenek puanlarına bakmayın; modelin kökenini, hangi temel ağırlıklardan türediğini ve varsa davranış değerlendirmesini model envanterinize kaydedin.
2. AI ile kod üreten kurumlar: üretilen kodu, modelden bağımsız bir statik analiz ve code review adımından geçirin; bağlama göre değişen kod kalitesi yalnızca çıktıya bakarak fark edilmiyor.
3. Yeniden hizalanmış ya da "unlearned" bir modeli devreye almadan önce kendi kullanım senaryonuzda yetenek ve güvenlik testlerini tekrarlayın; üreticinin benchmark sonuçları sizin görevinizi temsil etmeyebilir.
4. CCPC-500 yayımlandığında bağımsız sonuçları bekleyin; şu an eldeki rakamların tamamı yöntemi geliştiren şirkete ait.