Simurg Okulu #7 — Halüsinasyon: model neden emin bir tonla yanlış söyler, nasıl azaltılır

Yol günlüğü

Talep vadisinde öğle molası. Sabahki bölümde parametrelerin eğitimde ayarlandığını, inference'ta ise yalnızca kullanıldığını yazmıştım. Ama bir şey içimi kemiriyor: sabit sayılar bana bazen hiç var olmayan bir kaynağı, büyük bir ciddiyetle anlatıyor. Bugün bunun adını ve sebebini arıyorum: halüsinasyon.

Bugün öğrendim

Nedir?

Halüsinasyon (hallucination), modelin gerçek olmayan ya da yanlış bir bilgiyi doğruymuş gibi, akıcı bir dille üretmesi. Uydurma bir makale künyesi, var olmayan bir mahkeme kararı, yanlış bir sürüm numarası olabilir. İşin can sıkıcı yanı, yanlış cevapla doğru cevabın tonunun genelde aynı olması.

Nasıl çalışıyor?

İlk bölümde öğrendiğim gibi model bir veritabanı değil; bir sonraki token için olasılık hesaplıyor. Bilgiyi "kayıt" olarak değil, parametrelere dağılmış örüntüler olarak taşıyor. Sık görülen bir bilgi için örüntü güçlü, nadir bir bilgi (bir kişinin doğum günü, küçük bir kütüphanenin fonksiyon adı) için zayıf. Zayıf örüntüde de model durmuyor, "en olası görünen" devamı üretiyor. Ortaya çıkan cümle dilbilgisi açısından kusursuz ama olgu açısından boş olabiliyor.

OpenAI araştırmacılarının 2025'te yayımladığı Why language models hallucinate çalışması bir sebep daha gösteriyor: eğitim ve değerlendirme düzenleri, "bilmiyorum" demek yerine tahmin etmeyi ödüllendiriyor. Sınavda boş bırakmak sıfır puan, tahmin etmek bazen puan getiriyorsa öğrenci tahmin eder. Model de öyle.

Aynı çalışma, model emin olmadığında cevap vermekten kaçınabildiği için halüsinasyonun kaçınılmaz olmadığını, değerlendirme puanlamasının değişmesi gerektiğini savunuyor. Yine de bugün kullandığım araçlarda bu risk sıfır değil; azaltmak benim elimde.

Ne yapılabilir?

• Kaynağa bağlama (grounding): Modele cevabı kendi hafızasından değil, verdiğiniz belgeden üretmesini söyleyin. Belgeyi context'e koymak ya da RAG kullanmak (Marifet vadisinde ayrıca işlenecek) en etkili yöntemlerden biri.
• Kaynak isteyin, sonra kontrol edin: Kaynak istemek tek başına yetmiyor; model kaynağı da uydurabiliyor. 2023'te ABD'de bir avukatın ChatGPT'nin uydurduğu davaları mahkemeye sunduğu Mata v. Avianca olayı bunun en bilinen örneği.
• "Bilmiyorsan söyle" talimatı: Emin olmadığında bunu belirtmesini açıkça istemek, uydurma oranını düşürebiliyor ama garanti etmiyor.
• Kritik çıktıda insan kontrolü: Kod, hukuk, sağlık, sürüm ve CVE bilgisi gibi alanlarda çıktı doğrulanmadan kullanılmamalı. Kod tarafında da durum farklı değil: kodlama ajanlarının gerçek görevlerin dörtte birini tam çözebildiğini gösteren ölçüm, "çalışıyor gibi görünen" çıktının her zaman doğru olmadığını hatırlatıyor.

Tüyü yaktım

Bir sohbet asistanına, adını kendi uydurduğum bir Türk siber güvenlik raporunu sordum ve "özetler misin?" dedim. İlk denemede bana akıcı bir özet verdi. Aynı soruyu "Bu rapor gerçekten var mı, emin değilsen söyle" diye sorduğumda raporu bulamadığını, var olduğundan emin olmadığını söyledi. Sonuç: soru biçimi fark yarattı ama ilk cevabın ne kadar inandırıcı olduğu beni ürküttü. Bu tek bir denemeydi; genelleme yapmıyorum.

Heybeme koyduğum

Akıcılık doğruluk değildir; model emin konuşuyor diye haklı değildir, kaynağı siz kontrol edersiniz.

Kafama takılan

Bir modelin kendi cevabına ne kadar güvendiğini ölçmek mümkün mü, ve bu güven skoru kullanıcıya gösterilse halüsinasyon fark edilir mi?