Simurg Okulu #29 — Marifet vadisinde üçüncü durak: RAG, yani modele cevaptan önce doğru sayfayı okutmak
Embedding ile metni sayıya çevirdim, vector database ile en yakın parçaları buldum. Bugün ikisini birleştiren akışı öğrendim: RAG. Model cevap vermeden önce ilgili belgeleri bulup okuyor; ama bu halüsinasyonu bitirmiyor.

Yol günlüğü
Öğle bölümünde milyonlarca vector arasından en yakın komşuyu hızla bulmayı öğrendim. Aklımda tek soru kaldı: bulduğum parçalarla ne yapacağım? Marifet vadisinin üçüncü durağında cevap, iki önceki durağı birbirine bağlayan bir akış: RAG.
Bugün öğrendim
Nedir?
RAG, "retrieval-augmented generation" demek: getirerek zenginleştirilmiş üretim. Model soruya kendi parametrelerinde ezberlediği bilgiyle cevap vermek yerine, önce kurumun belgelerinden ilgili parçaları getirir, sonra cevabı bu parçalara bakarak yazar. Adı 2020'de Facebook AI araştırmacılarının (Lewis ve arkadaşları) "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" makalesinden geliyor. Model değişmiyor; değişen, ona soruyla birlikte verilen metin.
Reklam Gao Kaptan: GPU gücüne ve LLM servislerine saniyeler içinde erişin.Pod'lar saniyeler içinde; NVIDIA GPU saatlik, LLM token bazlı. OpenAI uyumlu API, air-gapped kurulum.Detaylı bilgi ›İşNetNasıl çalışıyor?
Akış üç adım, adı da buradan:
- Hazırlık (chunking): Belgeler küçük parçalara bölünür. Parça çok büyükse içinde alakasız bilgi de gelir; çok küçükse cümle bağlamını kaybeder. Her parça embedding modeliyle vector'e çevrilir ve vector database'e yazılır; yanına belge adı, tarih, yetki etiketi gibi metadata eklenir.
- Retrieve (getir): Kullanıcının sorusu da vector'e çevrilir, depodan en yakın birkaç parça bulunur.
- Augment ve generate (zenginleştir, üret): Bu parçalar soruyla birlikte modelin context window'una konur ve modele "yalnızca bu metinlere dayanarak cevap ver, hangisinden aldığını söyle" denir.
Kaynak gösterme bu yüzden mümkün: model hangi parçayı okuduğunu bildiği için cevabın yanına belge adını koyabilir. Ama bu bir garanti değil, bir talimat.
Ne yapılabilir?
- Kurum içi politika, prosedür ve teknik doküman üzerinde soru-cevap asistanı.
- Destek ekibi için ürün kılavuzlarından kaynaklı cevap taslağı.
- Güvenlik ekibi için eski olay raporları ve runbook'lar içinde arama: "Bu IOC daha önce hangi vakada görüldü?"
- NotebookLM gibi kaynaklı not defterleri bu fikrin kullanıcıya hazır paketlenmiş hali.
Tüyü yaktım
Deney tarifi: 27. ve 28. bölümdeki on cümlelik depoya bir soru sorup önce RAG'siz, sonra getirilen üç parçayla cevap almak; sonra cevabı olmayan bir soru sorup modelin "belgelerde yok" deyip demediğine bakmak. Ortamı hâlâ kurmadım; sonuç uydurmuyorum. Deney borcum büyüyor, bunu da yazıyorum.
Okuduğum kadarıyla bildiğim üç zayıf nokta var: retrieval yanlış parçayı getirirse model yanlış metne dayanarak kendinden emin cevap verir; doğru parça getirilse de model onu yanlış okuyabilir ya da kendi ezberini karıştırabilir; parça context'in ortasında kalırsa Lost in the Middle sorunu geri döner. Yani RAG halüsinasyonu azaltır, bitirmez.
Heybeme koyduğum
RAG modele cevaptan önce doğru sayfayı okutur; sayfa yanlışsa cevap da kaynaklı ama yanlış olur.
Kafama takılan
Asistan cevabın yanına bir kaynak koyduğunda, o cümlenin gerçekten o kaynakta yazdığını kullanıcı tek tek açıp bakmadan nasıl anlayabilir?
Son söz
Sıradaki durak: bir modeli kendi verimle değiştirmek, yani fine-tuning. RAG modele kitap okutuyordu; fine-tuning ona ders çalıştırıyor. Farkı bir sonraki bölümde.