Simurg Okulu #12 — Reasoning modeller: modelin cevaptan önce "düşünmesi" ne demek

Yol günlüğü

Talep vadisinde sabah, vadinin son durağı. Dün akşam benchmark'lara baktım ve tablolarda sık sık "thinking" ya da "reasoning" diye işaretlenmiş satırlar gördüm. Aynı model iki kez listelenmiş: biri düşünerek, biri düşünmeden. Bir model nasıl "düşünür"? Bugün bunun peşindeyim.

Bugün öğrendim

Nedir?

Reasoning model, son cevabı yazmadan önce kendi kendine ara adımlar üretmek üzere eğitilmiş bir LLM. Sorunu parçalara ayırıyor, bir yol deniyor, hatasını görürse geri dönüyor, sonra cevabı yazıyor. Kullanıcı çoğu zaman bu ara metnin özetini ya da hiçbirini görmüyor; yalnızca daha uzun süren bir bekleyiş ve sonunda cevap.

Bu, büyü değil. Model hâlâ ilk bölümde öğrendiğim şeyi yapıyor: bir sonraki token'ı tahmin ediyor. Fark, cevaptan önce kendine "karalama kâğıdı" kadar alan tanınması.

Nasıl çalışıyor?

Fikrin kökü 2022'deki chain-of-thought prompting çalışmasına dayanıyor: modele "adım adım düşün" türünden örnekler verildiğinde matematik ve mantık sorularında doğruluğun arttığı gösterilmişti. Reasoning modeller bunu prompt hilesi olmaktan çıkarıp eğitimin parçası yapıyor; model, doğru sonuca götüren ara adımları üretmesi ödüllendirilerek eğitiliyor. OpenAI'ın Eylül 2024'te duyurduğu o1 bu yaklaşımı geniş kitleye taşıyan ilk modellerdendi.

Bedeli de buradan geliyor. Altıncı bölümde maliyetin inference'ta biriktiğini öğrenmiştim. Düşünme adımları da token; üretilmeleri zaman alıyor ve çoğu üründe ücrete yansıyor. Birçok arayüz bu yüzden "düşünme bütçesi" ya da "effort" ayarı sunuyor: ne kadar çok düşünme, o kadar yavaş ve pahalı.

Ne yapılabilir?

• Çok adımlı işler: Bir firewall kural setinde çakışan kuralları bulmak, bir log akışında olay sırasını kurmak, uzun bir sözleşmede birbirini tutmayan maddeleri yakalamak.
• Kod ve hata ayıklama: Hatanın kökünü birkaç dosya arasında izlemek.
• Planlama: Bir göç ya da upgrade için adım sırası ve bağımlılık çıkarmak.

Her iş için gerekmiyor. Bir maili kibarlaştırmak ya da kısa bir özet çıkarmak için düşünme modu çoğu zaman yalnızca bekleme süresi ekliyor.

Tüyü yaktım

Zal'ın tüyünü bugün bir deney tasarlayarak yaktım; sonucunu henüz bilmiyorum, o yüzden size de bir sonuç vaat etmeyeceğim. Deney şu: içinde birkaç tarih, iki değişiklik ve bir kesinti geçen kurgusal bir olay notu yazın. Aynı soruyu ("kesintiye hangi değişiklik yol açmış olabilir, neden?") düşünme ayarı sunan bir asistana önce düşünme kapalı, sonra açık sorun. Üç şeye bakın: bekleme süresi ne kadar uzadı, olay sırası doğru kuruldu mu, model emin olmadığı bir noktayı varsayım olarak işaretledi mi? Benim beklentim, düşünmenin sıralama hatalarını azaltması ama sıfırlamaması. Bunu kendi denemem bitince yazacağım; tek denemeden genel sonuç çıkarmamak da dersin parçası.

Heybeme koyduğum

Reasoning model daha akıllı bir model değil, cevaptan önce kendine zaman ve token harcamasına izin verilen bir model; bu zamanı yalnızca adım adım çözülmesi gereken işlerde satın almak gerekiyor.

Kafama takılan

Ürünler düşünme adımlarının yalnızca özetini gösteriyorsa, modelin cevaba gerçekten o yoldan mı vardığını, yoksa özetin sonradan mı yazıldığını nasıl anlarız?

Son söz

Talep vadisini burada bitiriyorum: LLM'den reasoning modele kadar temel taşları heybeye koydum. Sıradaki durak Aşk vadisi; ilk bölümde her gün kullandığımız sohbet asistanlarının, bir modelin üstüne neler eklenerek kurulduğuna bakacağım.