SiberMagazin Ajan Cüzdan100.000 TL'yi yapay zekâ yönetseydi ne olurdu? Canlı simülasyon panosu. Yatırım tavsiyesi değildir.Panoyu aç ›SiberMagazin Kullandığınız ürünlerden haberdar olunSeçtiğiniz üreticilerde aktif istismar ve acil patch uyarıları; tarayıcı bildirimi ya da e-posta.Haberdar ol ›
19 Kasım 2026 PerşembeRSSMarkaHakkımızda
SON DAKİKA
04:00 Ukrayna ve FBI ortak operasyonu: 28 şirketten 40,5 milyon dolar fidye alan ağın dört üyesi gözaltında00:00 ABD Kongresi'nde tehdit oturumu: DNI, FBI ve İç Güvenlik Bakanı son 10 günün kesintilerinin siber saldırı olmadığını söyledi; şirketlerle güncelleme öncesi bildirim görüşmesi yapılacak00:00 ABD'de Rus vatandaşı Igor D'iu hakkında iddianame: Ukrayna'ya silah sağlayan Silikon Vadisi şirketinin çalışanlarını Rusya adına izlemekle suçlanıyor23:50 ManageEngine DDI Central'da iki yeni command injection açığı (CVE-2026-95645, CVE-2026-95643): Windows node'larda kod çalıştırma, düzeltme build 6500'de23:50 LiteLLM'deki guardrail sandbox kaçışı (CVE-2026-40217) CISA KEV'e girdi: proxy root yetkisiyle kod çalıştırıyor23:30 Synology DSM açığı CVE-2024-10441 CISA KEV'e eklendi: fidye saldırılarında kullanılan açık için son tarih 21 Kasım23:30 Apache Axis açığı CVE-2026-90436 CISA KEV'e girdi: Confluence ve N-central sunucuları için son tarih 21 Kasım23:00 ABD Senatosu komitesi, Salt Typhoon sonrası telekom siber güvenlik tasarısını onayladı; Demokratlar oturumu boykot etti23:00 İrlanda'da yaklaşık 40 credit union'ın üye verisi, ortak BT sağlayıcısı Wellington IT'deki ihlalle açığa çıktı22:00 ABD bankaları AI agent'lar için sözleşmeyi değiştiriyor: Citi'ye göre müşterinin bankacılık erişimi verdiği üçüncü taraf agent hacklenirse sorumluluk müşteride04:00 Ukrayna ve FBI ortak operasyonu: 28 şirketten 40,5 milyon dolar fidye alan ağın dört üyesi gözaltında00:00 ABD Kongresi'nde tehdit oturumu: DNI, FBI ve İç Güvenlik Bakanı son 10 günün kesintilerinin siber saldırı olmadığını söyledi; şirketlerle güncelleme öncesi bildirim görüşmesi yapılacak00:00 ABD'de Rus vatandaşı Igor D'iu hakkında iddianame: Ukrayna'ya silah sağlayan Silikon Vadisi şirketinin çalışanlarını Rusya adına izlemekle suçlanıyor23:50 ManageEngine DDI Central'da iki yeni command injection açığı (CVE-2026-95645, CVE-2026-95643): Windows node'larda kod çalıştırma, düzeltme build 6500'de23:50 LiteLLM'deki guardrail sandbox kaçışı (CVE-2026-40217) CISA KEV'e girdi: proxy root yetkisiyle kod çalıştırıyor23:30 Synology DSM açığı CVE-2024-10441 CISA KEV'e eklendi: fidye saldırılarında kullanılan açık için son tarih 21 Kasım23:30 Apache Axis açığı CVE-2026-90436 CISA KEV'e girdi: Confluence ve N-central sunucuları için son tarih 21 Kasım23:00 ABD Senatosu komitesi, Salt Typhoon sonrası telekom siber güvenlik tasarısını onayladı; Demokratlar oturumu boykot etti23:00 İrlanda'da yaklaşık 40 credit union'ın üye verisi, ortak BT sağlayıcısı Wellington IT'deki ihlalle açığa çıktı22:00 ABD bankaları AI agent'lar için sözleşmeyi değiştiriyor: Citi'ye göre müşterinin bankacılık erişimi verdiği üçüncü taraf agent hacklenirse sorumluluk müşteride
SiberMagazin Yeni: Kullandığınız ürünlerden haberdar olun. Üretici başına önem eşiği, e-postada anında uyarı, haftalık bülten. Hesap gerekmez. Nasıl kurulur ›Haberdar ol
KÖŞE YAZISI · GÖRÜŞ

Simurg Okulu #32 — Marifet vadisinde altıncı durak: distillation, yani büyük modelin bildiğini küçük modele aktarmak

Fine-tuning ve LoRA'da aynı modeli ayarlıyordum. Distillation'da iki model var; büyük olan öğretmen, küçük olan öğrenci. Bugün küçük modelin büyüğü taklit ederek nasıl eğitildiğini, ne kazandırdığını ve yolda ne kaybedildiğini öğrendim.

Mimir'in ÇırağıSimurg Okulu · sıfırdan yapay zekâ · · 3 dk okuma

Yol günlüğü

Öğlen LoRA ile büyük bir modeli ucuza ayarlamayı öğrendim. Ama ayarladığım model hâlâ büyük; her soruda o koca tabloların hepsi çalışıyor. Marifet vadisinin altıncı durağında soru değişti: büyük modelin becerisini daha küçük bir modele taşıyabilir miyim? Model aileleri bölümünde adını anıp geçtiğim distillation'a bugün oturdum.

Bugün öğrendim

Nedir?

Distillation, büyük bir modelin (teacher) davranışını taklit edecek şekilde küçük bir modeli (student) eğitmektir. Fikrin bilinen kaynağı Hinton, Vinyals ve Dean'in 2015 tarihli Distilling the Knowledge in a Neural Network makalesi.

SiberMagazin Köşe YazılarıSiber güvenlik gündemine yazarlarımızın yorumları.Yazıları oku ›

Benzetmem şöyle: usta bütün kütüphaneyi okumuş. Çırak kütüphaneyi baştan okumuyor; ustaya soru soruyor ve cevaplarından öğreniyor. Çırağın kafası daha küçük, ama ustanın süzdüğü bilgiyle yola çıkıyor.

Nasıl çalışıyor?

Önce aynı girdiler öğretmene verilir ve cevapları toplanır. Sonra öğrenci, doğru cevabı değil öğretmenin cevabını tutturacak şekilde eğitilir.

İncelik şurada: öğretmen yalnızca tek bir cevap vermez, her seçenek için bir olasılık üretir. Makale bunlara soft target diyor. "Doğru cevap şu" demek tek bir bilgi taşır; "büyük ihtimalle şu, küçük ihtimalle şuna da benziyor" demek ise seçenekler arasındaki yakınlığı da öğretir. Makalede bu olasılıkları yumuşatmak için daha önce tanıştığım temperature ayarı kullanılıyor: yüksek temperature küçük olasılıkları görünür kılıyor, öğrenci onlardan da ders çıkarıyor.

Dil modellerinde iki yol görüyorum. Öğretmenin ağırlıkları elimdeyse olasılıklarına bakarak eğitebilirim. Öğretmene yalnızca API ile ulaşıyorsam olasılıkları çoğu zaman göremem; o zaman öğretmene çok sayıda soru sorar, cevap metinlerini toplar ve öğrenciyi bu çiftlerle eğitirim. İkinci yol aslında verisini öğretmenin yazdığı bir fine-tuning.

Bilinen örnek 2019'daki DistilBERT çalışması: yazarlar, öğrenci modelin BERT'ten %40 küçük ve %60 hızlı olduğunu, dil anlama becerisinin %97'sini koruduğunu bildiriyor. Bu yazarların kendi ölçümü; her işte aynı oran beklenmez.

Ne yapılabilir?

  • Dar işi küçük modele vermek: sınıflandırma, etiketleme, kısa özet gibi tekrar eden bir işte büyük modelin cevaplarıyla küçük bir model eğitilir; inference maliyeti ve gecikme düşer.
  • Yerelde çalıştırmak: küçük öğrenci, büyük modelin sığmadığı donanımda çalışabilir.
  • Hazır araçlar: OpenAI'ın distillation dokümanı büyük modelin cevaplarını saklayıp küçük modeli onlarla eğitme akışını anlatıyor.
  • Dikkat isteyen yer: öğrenci öğretmenin hatasını da öğrenir; öğretmen halüsinasyon gördüyse bu, eğitim verisine girer. Öğrenci yalnızca gösterilen örneklerin kapsadığı alanda iyidir; dışına çıkınca öğretmenin genişliği yoktur. Ve bir servisin cevaplarıyla model eğitmeden önce kullanım koşullarında buna izin verilip verilmediğini okumak gerekir.

LoRA ile farkı kendime şöyle not ettim: LoRA aynı büyük modele küçük bir ek takar, distillation ortaya ayrı ve küçük bir model çıkarır.

Tüyü yaktım

Bu bölümde de model eğitmedim; öğretmen cevaplarını toplayacağım bir veri setim yok. Yaptığım tek şey soft target fikrini kâğıt üstünde kendime göstermekti. Uydurduğum bir örnek: bir destek mesajı için doğru etiket "fatura". Katı etiket yalnızca bunu söyler. Öğretmenin olasılıkları ise "fatura 0,80, ödeme 0,18, kargo 0,02" gibi olsaydı, öğrenci fatura ile ödemenin birbirine yakın, kargonun uzak olduğunu da görürdü. Bu rakamları ben seçtim, gerçek bir modelin çıktısı değil. #15'ten beri biriken deney borcum duruyor; yapınca sonucu yazacağım, yapmadıysam uydurmayacağım.

Heybeme koyduğum

Distillation küçük modele büyük modelin bilgisini değil cevaplarını öğretir; öğrenci, öğretmenin gösterdiği kadarını ve hatalarıyla birlikte alır.

Kafama takılan

Öğrencinin sınavını da öğretmenin cevaplarıyla yaparsam, öğretmenin yanlış bildiği yerde ikisi birlikte yanılır; bunu kim yakalar?

Son söz

Sıradaki durak: RAG'in getirdiği parçaları yeniden sıralamak, yani reranking.

Simurg OkuluMarifetdistillationteacher-studentküçük modelDistilBERTfine-tuningmodel değerlendirme
Görüş Köşe yazıları yazarlarının görüşünü yansıtır; haber değildir. Yazar adları takma addır ve yazılar SiberMagazin yayın ekibi tarafından yapay zekâ desteğiyle hazırlanır. Yazılarda geçen olgular ilgili haberlerimizde kaynaklarıyla birlikte yer alır. Yazar görselleri yapay zekâ ile üretilmiştir; gerçek kişileri temsil etmez.

Diğer Köşe Yazıları

Tomris Abla

"Bedava GTA 6 indir" bağlantısı çocuğunuzun önüne düşerse: 5 adımda evdeki bilgisayarı korumak

Orion Derviş

Ön kapıyı kimse zorlamadı: Optimizely, Infoblox ve Barracuda'da içeri giren zaten davetliydi

Trinity Begüm

Buluttan çıkmanın faturası: veri çıkış ücreti düşüyor, asıl kalemler tabloda yok

Çekirge Ufuk

2027'nin tedarik zinciri riski: herkes kendi yazılımını yazarsa açık kimin sorumluluğunda?