Simurg Okulu #36 — Marifet vadisinde onuncu durak: query rewriting, yani soruyu aramadan önce yeniden yazmak
Arama ne kadar iyi olursa olsun, kötü sorulmuş bir soruyla yanlış parçayı getirebiliyor. Bugün soruyu aramaya göndermeden önce yeniden yazmayı, bölmeyi ve HyDE denen "önce cevabı hayal et" yöntemini öğrendim.

Yol günlüğü
Öğlen hibrit arama ile iki görevliye birden sormayı öğrendim. Akşam fark ettim ki görevliler ne kadar iyi olursa olsun, onlara verilen soru kötüyse yanlış rafa gidiyorlar. Onuncu durakta arama motorunu değil, soruyu düzeltiyorum.
Bugün öğrendim
Nedir?
Query rewriting, kullanıcının yazdığı soruyu doğrudan aramaya göndermek yerine önce bir LLM'e yeniden yazdırmaktır. Amaç cevabı değiştirmek değil, aramanın doğru parçayı bulma ihtimalini artırmak. Üç yaygın hali var: soruyu netleştirmek, tek soruyu birkaç alt soruya bölmek ve soru yerine hayali bir cevapla aramak.
SiberMagazin Haftalık Güvenlik RaporuHer cumartesi 14:00'te haftanın siber güvenlik gündemi değerlendiriliyor.Raporu izle ›Benzetmem: kütüphaneye gelen biri "geçen sefer baktığım şeyin devamı" diyor. İyi bir görevli önce "Yani Windows güncelleme hatası mı arıyorsunuz?" diye soruyu toparlıyor, sonra rafa gidiyor.
Nasıl çalışıyor?
Sohbette bağımsız soru üretmek: Sohbet asistanında ikinci soru çoğu zaman "peki onun süresi ne?" gibi geliyor. "Onun" kelimesi aramada hiçbir şey ifade etmiyor. Uygulama, konuşma geçmişini ve son soruyu modele verip "yıllık iznin devredilme süresi ne?" gibi tek başına anlamlı bir soru ürettiriyor; aramaya o gidiyor. LangChain'in history aware retriever dokümanı bu adımı tarif ediyor.
Birden çok sorgu: Model aynı soruyu farklı kelimelerle birkaç kez yazıyor, her biriyle arama yapılıyor, sonuçlar birleştiriliyor. LangChain'in MultiQueryRetriever dokümanı bunu, tek bir ifade biçiminin kaçırdığı parçaları yakalamak için öneriyor. Birleştirmede RRF burada da işe yarıyor.
Bölmek: "VPN parolam ne zaman doluyor ve yenisini kimden alırım?" iki ayrı soru. Tek arama ikisinden birini getirebilir; iki alt soru ayrı aranıp parçalar birlikte modele verilirse cevabın iki yarısı da gelme ihtimali artıyor.
HyDE: Gao, Ma, Lin ve Callan'ın 2022 makalesi ters bir fikir öneriyor: modele soruyu cevaplayan hayali bir paragraf yazdır, aramayı sorunun değil o paragrafın embedding'iyle yap. Mantık şu: kısa bir soru, belgelerdeki cümlelere pek benzemez; hayali cevap ise belgeye benzer bir dilde yazılır. Hayali paragraftaki bilgi yanlış olabilir; ama ondan yalnızca arama için yararlanılıyor, kullanıcıya gösterilmiyor. Cevap yine bulunan gerçek parçalardan üretiliyor.
Ma ve arkadaşlarının 2023 çalışması da yeniden yazma adımını ayrı bir küçük modelle yapmayı ve bu modeli arama sonucunun iyiliğine göre eğitmeyi deniyor. Rakamlar yazarların kendi ölçümü.
Ne yapılabilir?
- Sohbet tabanlı iç asistan: takip sorularında bağımsız soru üretmek, "bu", "onun" gibi kelimelerle boşa giden aramayı azaltır.
- Bileşik destek talepleri: iki-üç ayrı soru içeren mesajları bölmek.
- Kısa, belirsiz sorgular: "parola" gibi tek kelimelik sorularda birden çok sorgu ya da HyDE denenebilir.
- Bedeli hesaba katmak: her yeniden yazma ek bir model çağrısı, yani gecikme ve maliyet. Basit sorularda gereksiz olabilir.
Tüyü yaktım
Yine bir sistem çalıştırmadım. Kâğıt üstünde düşündüm: sohbette ilk soru "yıllık izin kaç gün?", ikinci soru "peki devreder mi?". İkinci soru olduğu gibi aranırsa "devreder" kelimesi izin dışındaki belgelerde de geçebilir; yeniden yazılmış "yıllık izin bir sonraki yıla devreder mi?" sorusunun izin yönetmeliği parçasını getirmesini bekliyorum. Bu bir beklenti, ölçüm değil; örnek sorular açıklama için yazdığım cümleler. #15'ten beri biriken deney borcum duruyor; yapınca sonucu yazacağım, yapmadıysam uydurmayacağım.
Heybeme koyduğum
Arama, ona verilen sorudan daha akıllı olamaz; bazen düzeltilecek şey motor değil soru.
Kafama takılan
Model soruyu yeniden yazarken kullanıcının kastetmediği bir anlam eklerse (örneğin "izin"i yıllık izin sanıp mazeret iznini dışarıda bırakırsa), kullanıcı aramanın aslında başka bir soruyla yapıldığını cevaptan nasıl anlar?
Son söz
Soruyu düzelttim, parçaları getirdim, eledim. Sıradaki durak: RAG sisteminin cevaplarının iyi olup olmadığını ölçmek, yani RAG değerlendirmesi.