Simurg Okulu #32 — Marifet vadisinde altıncı durak: distillation, yani büyük modelin bildiğini küçük modele aktarmak
Fine-tuning ve LoRA'da aynı modeli ayarlıyordum. Distillation'da iki model var; büyük olan öğretmen, küçük olan öğrenci. Bugün küçük modelin büyüğü taklit ederek nasıl eğitildiğini, ne kazandırdığını ve yolda ne kaybedildiğini öğrendim.

Yol günlüğü
Öğlen LoRA ile büyük bir modeli ucuza ayarlamayı öğrendim. Ama ayarladığım model hâlâ büyük; her soruda o koca tabloların hepsi çalışıyor. Marifet vadisinin altıncı durağında soru değişti: büyük modelin becerisini daha küçük bir modele taşıyabilir miyim? Model aileleri bölümünde adını anıp geçtiğim distillation'a bugün oturdum.
Bugün öğrendim
Nedir?
Distillation, büyük bir modelin (teacher) davranışını taklit edecek şekilde küçük bir modeli (student) eğitmektir. Fikrin bilinen kaynağı Hinton, Vinyals ve Dean'in 2015 tarihli Distilling the Knowledge in a Neural Network makalesi.
SiberMagazin Köşe YazılarıSiber güvenlik gündemine yazarlarımızın yorumları.Yazıları oku ›Benzetmem şöyle: usta bütün kütüphaneyi okumuş. Çırak kütüphaneyi baştan okumuyor; ustaya soru soruyor ve cevaplarından öğreniyor. Çırağın kafası daha küçük, ama ustanın süzdüğü bilgiyle yola çıkıyor.
Nasıl çalışıyor?
Önce aynı girdiler öğretmene verilir ve cevapları toplanır. Sonra öğrenci, doğru cevabı değil öğretmenin cevabını tutturacak şekilde eğitilir.
İncelik şurada: öğretmen yalnızca tek bir cevap vermez, her seçenek için bir olasılık üretir. Makale bunlara soft target diyor. "Doğru cevap şu" demek tek bir bilgi taşır; "büyük ihtimalle şu, küçük ihtimalle şuna da benziyor" demek ise seçenekler arasındaki yakınlığı da öğretir. Makalede bu olasılıkları yumuşatmak için daha önce tanıştığım temperature ayarı kullanılıyor: yüksek temperature küçük olasılıkları görünür kılıyor, öğrenci onlardan da ders çıkarıyor.
Dil modellerinde iki yol görüyorum. Öğretmenin ağırlıkları elimdeyse olasılıklarına bakarak eğitebilirim. Öğretmene yalnızca API ile ulaşıyorsam olasılıkları çoğu zaman göremem; o zaman öğretmene çok sayıda soru sorar, cevap metinlerini toplar ve öğrenciyi bu çiftlerle eğitirim. İkinci yol aslında verisini öğretmenin yazdığı bir fine-tuning.
Bilinen örnek 2019'daki DistilBERT çalışması: yazarlar, öğrenci modelin BERT'ten %40 küçük ve %60 hızlı olduğunu, dil anlama becerisinin %97'sini koruduğunu bildiriyor. Bu yazarların kendi ölçümü; her işte aynı oran beklenmez.
Ne yapılabilir?
- Dar işi küçük modele vermek: sınıflandırma, etiketleme, kısa özet gibi tekrar eden bir işte büyük modelin cevaplarıyla küçük bir model eğitilir; inference maliyeti ve gecikme düşer.
- Yerelde çalıştırmak: küçük öğrenci, büyük modelin sığmadığı donanımda çalışabilir.
- Hazır araçlar: OpenAI'ın distillation dokümanı büyük modelin cevaplarını saklayıp küçük modeli onlarla eğitme akışını anlatıyor.
- Dikkat isteyen yer: öğrenci öğretmenin hatasını da öğrenir; öğretmen halüsinasyon gördüyse bu, eğitim verisine girer. Öğrenci yalnızca gösterilen örneklerin kapsadığı alanda iyidir; dışına çıkınca öğretmenin genişliği yoktur. Ve bir servisin cevaplarıyla model eğitmeden önce kullanım koşullarında buna izin verilip verilmediğini okumak gerekir.
LoRA ile farkı kendime şöyle not ettim: LoRA aynı büyük modele küçük bir ek takar, distillation ortaya ayrı ve küçük bir model çıkarır.
Tüyü yaktım
Bu bölümde de model eğitmedim; öğretmen cevaplarını toplayacağım bir veri setim yok. Yaptığım tek şey soft target fikrini kâğıt üstünde kendime göstermekti. Uydurduğum bir örnek: bir destek mesajı için doğru etiket "fatura". Katı etiket yalnızca bunu söyler. Öğretmenin olasılıkları ise "fatura 0,80, ödeme 0,18, kargo 0,02" gibi olsaydı, öğrenci fatura ile ödemenin birbirine yakın, kargonun uzak olduğunu da görürdü. Bu rakamları ben seçtim, gerçek bir modelin çıktısı değil. #15'ten beri biriken deney borcum duruyor; yapınca sonucu yazacağım, yapmadıysam uydurmayacağım.
Heybeme koyduğum
Distillation küçük modele büyük modelin bilgisini değil cevaplarını öğretir; öğrenci, öğretmenin gösterdiği kadarını ve hatalarıyla birlikte alır.
Kafama takılan
Öğrencinin sınavını da öğretmenin cevaplarıyla yaparsam, öğretmenin yanlış bildiği yerde ikisi birlikte yanılır; bunu kim yakalar?
Son söz
Sıradaki durak: RAG'in getirdiği parçaları yeniden sıralamak, yani reranking.