Simurg Okulu #31 — Marifet vadisinde beşinci durak: LoRA, yani modelin tamamına dokunmadan küçük bir ek parça eğitmek
Fine-tuning'de modelin bütün parametreleri yeniden ayarlanıyordu ve bu pahalıydı. LoRA'da asıl model donduruluyor, yanına küçük bir ek parça konuyor ve yalnızca o eğitiliyor. Bugün bu fikrin neden işe yaradığını ve nerede dikkat istediğini öğrendim.

Yol günlüğü
Bu sabah fine-tuning'i modele ders çalıştırmak diye not etmiştim. Ama aklımda bir soru kaldı: milyarlarca parametreli bir modelin hepsini yeniden ayarlamak zorundaysam, bu dersi kim karşılayabilir? Marifet vadisinin beşinci durağında cevabı buldum: LoRA.
Bugün öğrendim
Nedir?
LoRA, "Low-Rank Adaptation" sözünün kısaltması. Fikir 2021'de Microsoft araştırmacılarının yayımladığı LoRA makalesinden geliyor. Özü şu: önceden eğitilmiş modelin parametreleri dondurulur, hiçbiri değişmez. Modelin katmanlarına küçük ek matrisler yerleştirilir ve eğitimde yalnızca bunlar ayarlanır. Bu ek parçaya adapter deniyor.
SiberMagazin Bir dakikada siber güvenlikGünün önemli gelişmeleri kısa videolarla.Videoları izle ›Benzetmem şöyle: ders kitabını baştan yazmak yerine sayfaların kenarına yapışkan not iliştirmek. Kitap aynı kalıyor, notlar okuma biçimini değiştiriyor.
Nasıl çalışıyor?
Parametre bölümünde modelin aslında büyük sayı tablolarından oluştuğunu yazmıştım. Klasik fine-tuning bu tabloların her hücresini biraz kaydırır. LoRA'nın dayandığı gözlem, bu kaydırmanın çoğu zaman çok daha az sayıyla ifade edilebildiği.
Bunun için büyük tablonun yanına iki dar tablo konur; ikisi çarpılınca büyük tabloyla aynı boyutta bir "düzeltme" çıkar. Dar tabloların genişliğine rank deniyor ve küçük seçiliyor. Model çalışırken asıl tablo ile düzeltme toplanır.
Makaledeki rakamlar etkiyi gösteriyor: yazarlar, 175 milyar parametreli GPT-3 üzerinde klasik fine-tuning'e kıyasla eğitilen parametre sayısının 10.000 kat, eğitimde gereken ekran kartı belleğinin 3 kat azaldığını bildiriyor. Ayrıca düzeltme asıl tabloya eklenip birleştirilebildiği için inference sırasında ek gecikme oluşmuyor. Bunlar yazarların kendi ölçümü; her model ve her iş için aynı oran çıkmaz.
2023'teki QLoRA çalışması bir adım daha attı: asıl modeli 4 bit'e sıkıştırıp üstüne LoRA eğitti ve 65 milyar parametreli bir modelin tek bir 48 GB'lık ekran kartında ayarlanabildiğini gösterdi. Sıkıştırma (quantization) ilerideki bir vadinin konusu; şimdilik adını not ediyorum.
Ne yapılabilir?
- Küçük bütçeyle fine-tuning: tüm modeli eğitecek donanımı olmayan bir ekip, açık ağırlıklı bir modele kendi üslubunu ya da formatını adapter ile öğretebilir. Hugging Face'in PEFT kütüphanesi bu iş için yaygın kullanılan araçlardan.
- Tek model, çok adapter: asıl model bir kez yüklenir; hukuk yazışması için bir adapter, destek cevapları için başka bir adapter takılır. Her biri asıl modelin yanında küçük bir dosyadır.
- Geri alınabilirlik: adapter çıkarılınca model eski haline döner; asıl ağırlıklar hiç değişmediği için.
- Dikkat isteyen yer: adapter, eğitildiği asıl modele bağlıdır; başka bir modele takılmaz. Ve kaynağı belli olmayan bir adapter indirmek, modelin davranışını tanımadığım birinin ayarlamasına izin vermek demek. Açık ve kapalı modeller bölümünde ağırlıklar için sorduğum soru adapter için de geçerli.
Sabahki uyarı burada da duruyor: LoRA da davranışı ayarlar, güncel bilgiyi taşımaz. Değişen bilgi için yine RAG.
Tüyü yaktım
Bu bölümde de adapter eğitmedim; veri setim ve sınav setim hâlâ yok. Yapabildiğim tek şey kâğıt üstünde bir hesaptı, onu yazıyorum. Örnek olsun diye 4.096 × 4.096 boyutunda tek bir tablo düşündüm: yaklaşık 16,8 milyon sayı. Rank 8 seçersem iki dar tablo 4.096 × 8 ve 8 × 4.096 olur; toplam 65.536 sayı. Yani o tablo için eğitilecek sayı 256 kat azalıyor. Bu benim seçtiğim örnek boyutlarla yapılmış bir hesap, gerçek bir modelin ölçümü değil. Sabah kurduğum tarif (200 örnek eğitim, 50 örnek sınav) LoRA için de aynen geçerli; yapınca sonucu yazacağım, yapmadıysam uydurmayacağım.
Heybeme koyduğum
LoRA modeli yeniden yazmaz, yanına küçük ve çıkarılabilir bir düzeltme ekler; ucuzluğu da riski de o ek parçanın kimin elinden çıktığına bağlıdır.
Kafama takılan
Rank'i çok küçük seçersem model işi öğrenemez, çok büyük seçersem tasarruf kaybolur; doğru değeri denemeden önce kestirmenin bir yolu var mı?
Son söz
Sıradaki durak: büyük bir modelin bildiğini küçük bir modele aktarmak, yani distillation.