Alibaba destekli Co-Design Bench: en iyi kodlama ajanı gerçek kullanıcı taleplerinin yalnızca yüzde 26,4'ünü eksiksiz tamamladı
Alibaba ve Asya'daki üniversitelerden araştırmacıların hazırladığı yeni benchmark, gerçek değişiklik taleplerinde kodlama ajanlarının işin çoğunu yaptığını ama çoğu görevde en az bir eksik bıraktığını gösteriyor. Sonuçları modelin yanında çalıştığı ortam (harness) da belirgin biçimde etkiliyor.
Alibaba ve birkaç Asya üniversitesinden araştırmacılar, kodlama ajanlarını gerçek kullanıcı taleplerinden derlenen görevlerle ölçen Co-Design Bench adlı yeni bir benchmark yayımladı. The Decoder'ın aktardığına göre test edilen on model arasında en iyi sonucu alan GPT-6 Astra, görev gereksinimlerinin ortalama yaklaşık yüzde 70'ini karşıladı; ancak görevlerin yalnızca yüzde 26,4'ünü eksiksiz tamamladı.
Ajanlardan mevcut web uygulamalarını kullanıcı isteklerine göre değiştirmeleri isteniyor; bazı görevlerde girdi olarak görsel, ses kaydı, video ya da belge de veriliyor. Görevler, kullanıcıların talebini birkaç kez yeniden yazmak ya da değişikliği geri almak zorunda kaldığı gerçek kodlama oturumlarından seçildi. Makale arXiv'de, proje sayfası GitHub'da yayımlandı.
Sonuçlar ne gösteriyor?
- Araştırmacılara göre eski benchmark'larda ajanlar kendi kodunu çalıştırıp düzeltebildiği için yüzde 99'un üzerinde skorlar görülüyor; bu yüzden modeller arasındaki fark ölçülemez hâle gelmiş.
- GPT-6 Astra'yı Claude Opus 5 ve Qwen3.8-Max izliyor; Grok 4.6 son sırada. Büyük kapsamlı değişikliklerde çok daha küçük Qwen3.8-27B ikinciliğe çıkıyor, ancak yazarlar bundan genel bir üstünlük sonucu çıkarmıyor.
- Görev; yerleşim, tasarım, etkileşim ve içerik gibi farklı değişiklik türlerini birleştirdikçe tüm modellerin başarısı düşüyor.
- Daha fazla işlem gücü sorunu çözmüyor: GLM-5.2, küçük değişikliklerde GPT-6 Astra'dan yaklaşık altı kat fazla token harcayıp yine daha düşük skor alıyor.
- Aynı model farklı çalışma ortamlarında (harness) çok farklı sonuç verebiliyor: Qwen3.8-27B büyük değişikliklerde ortama göre yüzde 75 ya da yüzde 56 aldı.
Puanlamada bir AI değerlendirici uygulamayı tarayıcıda test ediyor, ikinci bir değerlendirici olumlu kararları ve sabit kodlanmış sonuçları yeniden kontrol ediyor. Yazarlar testin sınırlarını da belirtiyor: her görevde tek bir sabit talep var, kullanıcıyla ara diyalog ölçülmüyor ve AI değerlendiriciler hata yapabilir.
Neden önemli?
Bulgular, liderlik tablolarındaki yüksek skorların günlük geliştirme işine birebir taşınmadığını hatırlatıyor. Ajanın işin büyük kısmını yapıp tek bir ayrıntıyı atlaması, üretimde fark edilmeyen hatalara ve güvenlik açısından gözden kaçan değişikliklere dönüşebilir.
Kimin işine yarar / ne yapabilirsiniz?
- Kodlama ajanı seçerken modeli ve çalıştığı ortamı birlikte, kendi kod tabanınızdan alınmış görevlerle test edin.
- Ajanın ürettiği değişiklikleri insan code review'ı ve otomatik testler olmadan birleştirmeyin; özellikle birden fazla değişiklik türü içeren taleplerde.
- Token maliyetini başarı oranıyla birlikte ölçün; daha fazla token daha iyi sonuç anlamına gelmiyor.
