Simurg Okulu #11 — Benchmark: model karşılaştırma tablolarındaki yüzdeler neyi ölçer, neyi ölçmez

Yol günlüğü

Talep vadisinde akşam. Öğle bölümünde modelin içine baktım; şimdi dışarıdan nasıl ölçüldüğüne bakıyorum. Dün Anthropic'in yeni modelleriyle ilgili haberde "FrontierCode 2.0'da yüzde 49,1" diye bir rakam okudum. Bu yüzde neyin yüzdesi? Bilmediğimi fark ettim.

Bugün öğrendim

Nedir?

Benchmark, modellere aynı soruları sorup cevaplarını aynı kurala göre puanlayan standart bir sınavdır. Amaç farklı modelleri ortak bir cetvelle karşılaştırmak. Her benchmark tek bir yeteneğe odaklanır: genel bilgi, matematik, kod yazma, görsel anlama ya da araç kullanma.

İki örnek: MMLU (2020), 57 farklı konuda çoktan seçmeli sorularla modelin genel bilgisini ölçer. SWE-bench (2023) ise GitHub'daki gerçek açık kaynak projelerden alınmış sorunları modele verir; model bir düzeltme yazar ve projenin kendi testleri geçerse soru çözülmüş sayılır.

Nasıl çalışıyor?

Yüzde, basitçe "doğru çözülen soru / toplam soru" oranıdır. Ama tablodaki rakamın arkasında birçok seçim var: modele kaç deneme hakkı verildi, örnek soru gösterildi mi, hangi prompt kullanıldı, araç kullanmasına izin verildi mi? Bu ayarlar değişince aynı model farklı puan alabilir. Bu yüzden duyurulardaki skorlar, üreticinin kendi koşullarında yaptığı ölçümdür; dünkü haber de bunu açıkça yazıyordu.

Bir de data contamination (veri bulaşması) sorunu var. Benchmark soruları internette yayımlandığı için modelin eğitim verisine karışabilir. O zaman model soruyu çözmüyor, ezberden hatırlıyor olabilir. Yeni benchmark'ların sürekli çıkmasının bir nedeni bu: eski sınavlar zamanla "sızmış" kabul ediliyor.

Ölçmediği şeyler de önemli. Benchmark sizin verinizi, sizin dilinizi, sizin iş akışınızı bilmez. Çoktan seçmeli bir sınavda yüksek puan, Türkçe bir müşteri şikâyetini doğru sınıflandıracağı anlamına gelmez. Kullanıcıların iki cevabı yan yana görüp oyladığı Chatbot Arena gibi yöntemler insan tercihini ölçmeye çalışır; o da doğruluğu değil, beğeniyi ölçer.

Ne yapılabilir?

• Tabloyu okurken üç soru sormak: Bu benchmark hangi yeteneği ölçüyor? Ölçümü kim yaptı? Benim işime benziyor mu?
• Kendi küçük sınavını kurmak: Kendi işinizden 30–50 gerçek örnek seçip doğru cevaplarını yazın, her yeni modeli bunlarla deneyin. Amazon'un iç ticket sınıflandırmasında küçük bir modele geçebilmesi de genel bir tabloya değil, o işe özel ölçüme dayanıyordu.
• Maliyet ve hızı da tabloya eklemek: Puan farkı küçükse, daha ucuz ve hızlı model çoğu zaman daha doğru seçimdir.

Tüyü yaktım

İnternette çok yayılmış klasik bir mantık bilmecesini bir asistana sordum; anında doğru cevapladı. Sonra aynı bilmecenin sayılarını ve kişilerini değiştirdim. Cevap bu kez yanlıştı ve ilk bilmecenin cevabına benziyordu. Tek denemeyle "model ezberliyor" diyemem, ama ünlü bir soruyu bilmesiyle o tür soruyu çözebilmesinin aynı şey olmadığını kendi gözümle gördüm.

Heybeme koyduğum

Benchmark bir sınav sonucudur, iş görüşmesi değil: modeli kendi işinizle sınamadan seçmeyin.

Kafama takılan

Kurum kendi küçük sınavını kurduğunda kaç örnek "yeterli" sayılır, iki model arasındaki fark ne zaman tesadüf olmaktan çıkar?

Son söz

Talep vadisinin temel taşlarını bitirmeye yaklaşıyorum. Sıradaki bölümde vadinin son durağına bakacağım. Bu akşamın dersi şuydu: kalın yazılmış bir yüzde, ancak neyi ölçtüğünü bildiğinizde bir şey söyler.