Simurg Okulu #34 — Marifet vadisinde sekizinci durak: chunking, yani belgeyi parçalara kesmek
RAG parça getiriyor, reranker parça eliyor; peki o parçalar nereden çıkıyor? Bugün belgeyi parçalara kesmenin yollarını, parça boyunun arama ve cevap üzerindeki etkisini öğrendim.

Yol günlüğü
Dün reranking ile getirilen parçaları ikinci kez elemeyi öğrendim. Bölümü bitirirken fark ettim ki hep "parça" deyip geçiyorum, ama o parçaları kimin, nereden kestiğini hiç sormadım. Sekizinci durakta işin en başına dönüyorum: belge, aramaya girmeden önce nasıl bölünüyor?
Bugün öğrendim
Nedir?
Chunking, uzun bir belgeyi aramada kullanılacak küçük parçalara (chunk) bölmektir. RAG sistemi bütün bir el kitabını değil, bu parçaları embedding ile vector'e çevirip vector database'e koyuyor. Soru gelince getirilen de bu parçalar oluyor.
SiberMagazin Bir dakikada siber güvenlikGünün önemli gelişmeleri kısa videolarla.Videoları izle ›Benzetmem: kalın bir kitabı fotokopi kartlarına bölüp kutuya diziyorum. Biri soru sorunca kutudan birkaç kart çekip veriyorum. Kartları nasıl kestiğim, doğru kartı bulup bulamayacağımı baştan belirliyor.
Nasıl çalışıyor?
Okuduğum kadarıyla üç yaygın yol var:
- Sabit boy: metni belirli sayıda karakter, kelime ya da token'da kesmek. Basit ve öngörülebilir. Örneğin RAG'i tanımlayan Lewis vd. 2020 çalışması Wikipedia makalelerini 100 kelimelik parçalara bölüyor. Kusuru, cümleyi ya da tabloyu ortasından kesebilmesi.
- Örtüşme (overlap): her parçanın sonundaki bir miktar metni bir sonrakinin başına da koymak. Kesim noktasına düşen bir cümle iki parçada da bütün kalır. Bedeli, aynı metnin depoda iki kez durması.
- Yapıya göre bölme: önce başlıktan, sonra paragraftan, sonra cümleden kesmeyi denemek; parça hâlâ büyükse bir alt seviyeye inmek. LangChain'in RecursiveCharacterTextSplitter dokümanı bu mantığı anlatıyor: önce paragraf boşluğu, sonra satır, sonra boşluk karakteri.
Parça boyu bir denge. Küçük parça soruya keskin eşleşir ama bağlamını kaybeder: "Süre 30 gündür" cümlesi tek başına kaldığında neyin süresi olduğu belli olmaz. Büyük parça bağlamı korur ama vector'ü birden çok konuyu ortalar, aramada bulanıklaşır, modele giden context de şişer.
Anthropic'in Contextual Retrieval yazısı bu bağlam kaybına bir çözüm öneriyor: her parçanın başına, embedding'den önce, parçanın belgede nereye ait olduğunu anlatan kısa bir açıklama eklemek. Yazıdaki kazanç şirketin kendi veri setlerindeki ölçümü; her kurumda aynısı beklenmez.
Ne yapılabilir?
- Prosedür ve politika metinleri: başlığa göre bölmek, her maddenin kendi başlığıyla birlikte gelmesini sağlıyor.
- Parçaya metadata eklemek: belge adı, bölüm başlığı, sürüm tarihi. Bunlar hem filtrelemede hem de kullanıcıya kaynak göstermede işe yarıyor.
- Tablo ve kod: ortadan kesilince anlamsızlaşıyor; bunları bütün parça olarak tutmak gerekiyor.
- Ayar değişince yeniden işlemek: parça boyu değişirse bütün belgeler yeniden kesilip yeniden embedding'den geçmeli; eski ve yeni parçaları aynı depoda karıştırmamak gerekiyor.
Tüyü yaktım
Bugün de bir sistem çalıştırmadım. Kâğıt üstünde bir izin yönetmeliğini düşündüm: "Yıllık izin" başlığının altında "Süre 30 gündür" cümlesi var. Sabit boyla kesersem başlık bir parçada, cümle diğerinde kalabilir; "yıllık izin kaç gün?" sorusunda arama cümleyi bulsa bile başlığı olmayan parça soruya zayıf eşleşebilir. Başlığa göre bölersem ikisi aynı kartta durur. Bu bir beklenti, ölçüm değil; örnek cümle de uydurma, gerçek bir yönetmelik değil. #15'ten beri biriken deney borcum duruyor; yapınca sonucu yazacağım, yapmadıysam uydurmayacağım.
Heybeme koyduğum
Arama, kartları kestiğim yerden daha akıllı olamaz.
Kafama takılan
Bir parçada cevabın yarısı, komşu parçada diğer yarısı varsa ve arama yalnızca birini getirirse, model eksik cevabı tam cevapmış gibi mi verir?
Son söz
Parçaları kesmeyi, getirmeyi ve elemeyi gördüm. Sıradaki durak: hibrit arama, yani vector aramasıyla anahtar kelime aramasını birlikte kullanmak.