Simurg Okulu #33 — Marifet vadisinde yedinci durak: reranking, yani RAG'in getirdiği parçaları ikinci kez elemek
RAG bölümünde arama, soruya en yakın parçaları getiriyordu. Ama en yakın her zaman en işe yarar değil. Bugün getirilen parçaları ikinci bir modelle yeniden sıralamayı, ne kazandırdığını ve neye mal olduğunu öğrendim.

Yol günlüğü
Dün distillation ile Marifet vadisinde model eğitme kolunu bitirdim. Bugün geri dönüp RAG bölümünde açık bıraktığım bir kapıyı açıyorum. Asistan cevabı getirdiği parçalardan kuruyorsa, yanlış parçayı getirdiğinde en iyi model bile yanlış yerden başlar. Yedinci durakta sorum şu: getirilen parçaları daha akıllıca nasıl seçerim?
Bugün öğrendim
Nedir?
Reranking, ilk aramanın getirdiği aday parçaları ikinci bir modelle yeniden puanlayıp sıralamaktır. İlk arama hızlı ve geniş bir ağ atar, örneğin 50 parça getirir. Reranker bu 50'yi tek tek soruyla birlikte okur ve modele yalnızca en iyi birkaçını verir.
SiberMagazin SiberMagazin YouTube'daKısa videolar ve Haftalık Güvenlik Raporu; yeni bölümler için kanala abone olun.Kanala git ›Benzetmem: kütüphaneci raflardan konuya yakın görünen yirmi kitabı hızla toplar. Sonra masaya oturup her birinin ilgili sayfasını soruyla yan yana okur ve "asıl işine yarayan bu üçü" der.
Nasıl çalışıyor?
İki tür model var ve fark tam burada. Embedding bölümünde gördüğüm yöntem soruyu ve belgeyi ayrı ayrı vector'e çeviriyor, sonra yakınlıklarına bakıyor. Buna bi-encoder deniyor. Belgelerin vector'leri önceden hesaplanıp vector database'e konduğu için milyonlarca parça içinde arama hızlı.
Reranker çoğu zaman bir cross-encoder: soruyu ve parçayı birlikte, tek girdi olarak okuyor ve "bu parça bu soruyu ne kadar cevaplıyor" diye tek bir puan veriyor. Soru ile metin aynı anda attention'dan geçtiği için ince ilişkileri daha iyi yakalıyor. Bedeli de bu: her soru-parça çifti için modeli yeniden çalıştırmak gerekiyor, önceden hesaplanacak bir şey yok. Sentence-Transformers dokümanı bu yüzden ikisini birlikte kullanmayı anlatıyor: önce bi-encoder ile geniş aday listesi, sonra cross-encoder ile o kısa listede eleme.
Fikrin bilinen erken örneği Nogueira ve Cho'nun 2019 tarihli Passage Re-ranking with BERT çalışması: ilk aramanın getirdiği pasajları BERT ile yeniden sıralıyorlar.
Ne yapılabilir?
- Kurum içi dokümanda doğru parçayı öne almak: prosedür, sözleşme, teknik not gibi birbirine benzeyen metinlerde ilk arama yakın ama yanlış belgeyi getirebiliyor; reranker bu karışıklığı azaltmak için kullanılıyor.
- Context'i daraltmak: modele 50 parça yerine en iyi 5'i gidiyor. Bu hem token maliyetini düşürüyor hem de uzun context'in ortasında kaybolma sorununu hafifletiyor.
- Hazır araçlar: açık cross-encoder modelleri Sentence-Transformers ile yerelde çalıştırılabiliyor; API olarak rerank hizmeti sunan sağlayıcılar da var.
- Ölçülmüş bir örnek: Anthropic'in Contextual Retrieval yazısı, kendi denemelerinde embedding ve anahtar kelime aramasının üstüne reranking eklemenin bulunamayan parça oranını belirgin şekilde düşürdüğünü bildiriyor. Bu şirketin kendi veri setlerindeki ölçümü; her kurumda aynı kazanç beklenmez.
- Dikkat isteyen yer: reranker yalnızca ilk aramanın getirdiğini sıralayabilir. Doğru parça aday listesinde hiç yoksa reranker onu bulamaz. Ayrıca her soruda ek model çalıştığı için gecikme artar; aday sayısı büyüdükçe bu belirginleşir.
Tüyü yaktım
Reranker çalıştırmadım; elimde ölçebileceğim bir belge seti yok. Kâğıt üstünde kendime şunu gösterdim: "VPN parolam süresi dolunca ne yapmalıyım?" sorusu için bi-encoder'ın "VPN kurulum rehberi" ile "parola sıfırlama prosedürü"nü birbirine yakın puanlaması mümkün; ikisi de VPN ve parola kelimelerine yakın. Cross-encoder'ın soruyu ve parçayı birlikte okuduğu için sıfırlama prosedürünü öne alması beklenir. Bu bir beklenti, ölçüm değil. #15'ten beri biriken deney borcuma bir tane daha eklendi; yapınca sonucu yazacağım, yapmadıysam uydurmayacağım.
Heybeme koyduğum
İlk arama ağı geniş atar, reranker dikkatle eler; ama ağa hiç girmeyen balığı eleyemez.
Kafama takılan
Reranker iki parçayı neredeyse aynı puanlarsa ve biri güncel, diğeri eski sürümse, hangisinin seçildiğini kullanıcı cevaptan nasıl anlar?
Son söz
RAG'in parçalarını getirmeyi ve elemeyi gördüm. Sıradaki durak: bu parçaların nasıl kesildiği, yani chunking.