Simurg Okulu #27 — Marifet vadisine giriyorum: embedding, yani cümlenin sayılara dönüşmesi
Aşk vadisinde asistanların hep "doğru parçayı bulup modele verdiğini" gördüm ama o parçanın nasıl bulunduğunu bilmiyordum. Marifet vadisinin ilk durağı embedding: bir metni anlamını taşıyan bir sayı listesine çeviren teknik.

Yol günlüğü
Marifet vadisine adım attım. Dünkü toparlamada bütün asistanlar için aynı soruyu sormuştum: model neyi görüyor? Cevabın yarısı "uygulama ilgili parçayı seçip context'e koyuyor" idi. Ama bir uygulama binlerce sayfa arasından "ilgili" olanı nasıl seçer? Bu vadi o sorunun cevabı; ilk durak embedding.
Bugün öğrendim
Nedir?
Embedding, bir metnin (kelime, cümle ya da paragraf) sabit uzunlukta bir sayı listesine çevrilmiş hali. Bu listeye vector deniyor. Önemli olan sayıların kendisi değil, aralarındaki ilişki: anlamca yakın iki metnin vector'leri de birbirine yakın düşüyor. "Şifremi unuttum" ile "parolamı sıfırlamak istiyorum" ortak kelime taşımasa da yakın noktalara yerleşiyor.
Reklam Gao Kaptan: GPU gücüne ve LLM servislerine saniyeler içinde erişin.Pod'lar saniyeler içinde; NVIDIA GPU saatlik, LLM token bazlı. OpenAI uyumlu API, air-gapped kurulum.Detaylı bilgi ›İşNetNasıl çalışıyor?
Fikir yeni değil. 2013'teki word2vec çalışması, kelimeleri birlikte geçtikleri kelimelere bakarak vector'e çeviren bir yöntem önermişti: benzer bağlamda geçen kelimeler benzer vector alıyordu. Bugünkü embedding modelleri tek kelime yerine bütün cümleyi ele alıyor. 2019'daki Sentence-BERT makalesi, transformer tabanlı bir modeli cümle vector'leri anlamlı biçimde karşılaştırılabilsin diye eğitmenin yolunu gösterdi.
Süreç kabaca şöyle:
- Metin token'lara bölünür (2. bölümde öğrendiğim adım).
- Embedding modeli metni okur ve sonunda tek bir vector üretir; liste yüzlerce ya da binlerce sayıdan oluşur. Örneğin OpenAI'ın embedding rehberine göre text-embedding-3-small modelinin varsayılan vector uzunluğu 1536.
- İki metnin ne kadar benzediği, vector'ler arasındaki açıyla ölçülür (cosine similarity). Açı küçükse anlam yakın.
Burada bir ayrımı kafama yazdım: embedding modeli cevap üretmez. Sohbet modeli bir sonraki token'ı tahmin eder; embedding modeli yalnızca "bu metin uzayın neresinde duruyor?" sorusuna cevap verir.
Ne yapılabilir?
- Anlamla arama (semantic search): Kurum içi dokümanlarda kelime eşleşmesi yerine anlam eşleşmesi. "İzin formu" diye arayan, "yıllık izin talebi" başlıklı belgeyi de bulur.
- Benzer kayıtları gruplamak: Destek taleplerini ya da güvenlik alarmlarını konusuna göre kümelemek, tekrar eden şikâyeti fark etmek.
- Yinelenenleri yakalamak: Aynı olayı anlatan iki haberi ya da aynı soruyu soran iki talebi işaretlemek.
- RAG'in ilk adımı: Asistanın "ilgili parçayı seçmesi" çoğu zaman tam olarak bu: soru embedding'e çevrilir, en yakın parçalar bulunur, modele o parçalar verilir. Bunu önümüzdeki bölümlerde ayrıntılı göreceğim.
Sınırlarını da not ettim: yakınlık "doğru" demek değil. "Parolamı paylaşmalı mıyım?" ile "parolamı asla paylaşmamalıyım" anlamca zıt ama konu olarak çok yakın; vector'leri de yakın düşebilir. Embedding konu bulur, hüküm vermez.
Tüyü yaktım
Basit bir deney tarifi kurdum: on kısa Türkçe cümle (üçü parola sıfırlama, üçü fatura, üçü kargo, biri ilgisiz), bir embedding modeliyle vector'e çevrilecek ve her cümleye en yakın komşusu listelenecekti. Bu akşama kadar denemeyi çalıştıracak ortamı kurmadım, o yüzden sonuç yazmıyorum. Önceki bölümlerden kalan deney borcuma bunu da ekliyorum; yaptığımda olumsuz bölümleri ve olumsuzluk eki taşıyan cümlelerin nereye düştüğünü özellikle raporlayacağım.
Heybeme koyduğum
Embedding metni anlamına göre bir noktaya yerleştirir; asistanların "ilgili parçayı bulması" çoğu zaman en yakın noktaları seçmekten ibarettir, doğruyu seçmekten değil.
Kafama takılan
Türkçede bir cümleyi tersine çeviren "-me/-ma" eki, vector'ü ne kadar değiştiriyor? Olumsuz cümle, olumlu ikizine fazla yakın kalıyorsa arama sonuçları bunu nasıl telafi ediyor?
Son söz
Sayıya dönmüş binlerce cümleyi bir yerde saklamak ve en yakınını hızla bulmak gerekiyor. Sıradaki durak: vector database.