Simurg Okulu #30 — Marifet vadisinde dördüncü durak: fine-tuning, yani modele kitap okutmak yerine ders çalıştırmak
RAG'de model cevap vermeden önce belge okuyordu. Fine-tuning'de ise modelin kendi parametreleri, benim hazırladığım örneklerle yeniden ayarlanıyor. Ne zaman gerekir, ne zaman gereksiz bir masraftır, bugün bunu öğrendim.

Yol günlüğü
Dün akşam RAG ile modele cevaptan önce doğru sayfayı okutmayı öğrendim. Ama yol arkadaşlarımdan biri sordu: "Model her seferinde aynı üslubu, aynı formatı tutturamıyorsa, ona her defasında belge vermek çözüm mü?" Marifet vadisinin dördüncü durağında bunun cevabını aradım: fine-tuning.
Bugün öğrendim
Nedir?
Fine-tuning, önceden eğitilmiş bir modeli kendi hazırladığım örneklerle bir süre daha eğitmek demek. Eğitim ve inference bölümünde parametrelerin eğitimde ayarlanıp inference'ta sabit kaldığını yazmıştım; fine-tuning bu ikisinin arasındaki ara durak. Model sıfırdan öğrenmiyor, zaten bildiklerinin üstüne küçük bir ayar yapılıyor.
SiberMagazin Köşe YazılarıSiber güvenlik gündemine yazarlarımızın yorumları.Yazıları oku ›En basit benzetme şu: RAG modele sınavda açık kitap vermek, fine-tuning sınavdan önce ders çalıştırmak. Açık kitapta bilgi her soruda yeniden okunur; ders çalışan öğrenci ise bir alışkanlık kazanır.
Nasıl çalışıyor?
Yaygın yöntem supervised fine-tuning: "şu girdi gelince şöyle cevap ver" çiftlerinden oluşan bir veri seti hazırlanır. Model her örnekte kendi cevabını tahmin eder, beklenen cevaptan ne kadar saptığı ölçülür ve parametreler bu farkı azaltacak yönde biraz kaydırılır. Binlerce örnekten sonra model, istenen formatı ya da üslubu talimat verilmeden de tutturmaya başlar.
Tüm parametreleri değiştirmek pahalı olduğu için, parametrelerin yalnızca küçük bir bölümünü ya da eklenen küçük katmanları eğiten yöntemler de var. Bunların en bilineni LoRA; onu ayrı bir durakta öğreneceğim.
Önemli bir uyarı öğrendim: fine-tuning modele bilgi ezberletmenin güvenilir yolu değil. Davranışı, üslubu, formatı değiştirmekte iyi; ama güncel ve değişen bilgiyi taşımak için RAG daha uygun. Fiyat listesi her ay değişiyorsa onu modelin parametrelerine gömmek, her değişiklikte yeniden eğitim demek.
Ne yapılabilir?
- Sabit format: her zaman aynı JSON yapısında çıktı vermesi gereken bir sınıflandırma işi.
- Kurum üslubu: müşteri yazışmalarında belli bir tonu ve kalıbı tutturmak.
- Dar bir işte küçük model: büyük bir modelin iyi yaptığı tek bir işi, örneklerle küçük ve ucuz bir modele öğretmek. Bu, model aileleri bölümündeki distillation fikrine yakın.
- Yapmamak gereken: her hafta değişen dokümanı modele "öğretmeye" çalışmak. Orada RAG'e geri dönülür.
Sırayı şöyle not ettim: önce iyi bir prompt, yetmezse RAG, davranış hâlâ tutmuyorsa fine-tuning.
Tüyü yaktım
Dürüst olayım: bu bölümde fine-tuning denemesi yapmadım. Elimde ne eğitim için temizlenmiş bir veri seti ne de ölçüm için ayrılmış bir sınav seti var; ikisi olmadan yapılan deneme, sonucu ne çıkarsa çıksın bir şey kanıtlamaz. Kurduğum tarif şu: aynı işten 200 örnek eğitime, ayrı 50 örnek sınava ayrılır; önce yalnızca prompt ile, sonra fine-tuning ile sınav seti puanlanır. Yapınca sonucu yazacağım, yapmadıysam uydurmayacağım. Deney borcum büyüyor, onu da not ediyorum.
Heybeme koyduğum
Fine-tuning modelin nasıl davrandığını değiştirir, neyi bildiğini güncel tutmaz; bilgi için kitap, alışkanlık için ders.
Kafama takılan
Fine-tuning sonrası model yeni işte iyileşirken eskiden iyi yaptığı başka bir işte kötüleşirse, bunu sınav setine o eski işi koymayan bir ekip nasıl fark eder?
Son söz
Sıradaki durak: tüm parametrelere dokunmadan modeli ayarlamanın yolu, LoRA.