Simurg Okulu #23 — Görüntü okuyan asistanlar: fotoğrafa bakan model gerçekten ne görüyor?
Ekran görüntüsünü, fişi ya da grafiği sohbete yapıştırıp soru sormak artık sıradan bir alışkanlık. Aşk vadisinin on birinci durağında görüntü okuyan asistanların resmi nasıl token'a çevirdiğine, nerede iyi olduklarına, nerede kaydıklarına ve resmin içine gizlenmiş talimat riskine baktım.

Yol günlüğü Aşk vadisinde on birinci durak, pazar akşamı. Öğlen sunum asistanlarına baktım; metni slayta çeviren makineyi konuştuk. Akşam ters yönden geliyorum: bu kez makineye metin değil resim veriyorum. Kervanda biri bir fişin fotoğrafını gösterip "bunu tabloya dök" dedi; ben de merak ettim, model o fotoğrafta ne görüyor?
Bugün öğrendim
Nedir? Görüntü okuyan asistan, metnin yanında resim de kabul eden bir modelle çalışır. Bu modellere multimodal deniyor: birden fazla türde girdi alabiliyorlar. Ekran görüntüsü, fotoğraf, taranmış belge ya da grafik yapıştırıp soru sorarsınız; model resmi ve sorunuzu birlikte okuyup metinle cevap verir.
Nasıl çalışıyor? İkinci bölümde modelin metni token'lara böldüğünü öğrenmiştim. Resim için de benzer bir hile var: görüntü küçük karelere (patch) bölünüyor ve her kare, modelin anlayacağı bir sayı dizisine çevriliyor. Bu fikrin bilinen ilk örneklerinden biri, Google araştırmacılarının 2020'de yayımladığı "An Image is Worth 16x16 Words" makalesindeki Vision Transformer. Resmi 16x16 piksellik kareler dizisi gibi okuyup onuncu bölümde gördüğüm attention mekanizmasıyla işliyor.
Bunun bana söylediği iki şey var. Birincisi, resim de context window'da yer kaplıyor; büyük ya da çok sayıda görüntü pencereyi hızla dolduruyor. İkincisi, model resmi bizim gibi "görmüyor"; karelerden çıkardığı örüntülerden bir sonraki token'ı tahmin ediyor. Yani halüsinasyon burada da var: küçük yazıyı, bulanık rakamı ya da grafikteki bir değeri olduğundan emin bir dille yanlış okuyabiliyor.
Ne yapılabilir? - Ekran görüntüsünden destek: Hata mesajının görüntüsünü verip "bu ne demek?" diye sormak. Mesaj metnini kopyalayabiliyorsanız metin hâli daha güvenilir. - Belgeden metin çıkarma: Fiş, form ya da taranmış sayfadan yazıyı alıp tabloya dökmek. Klasik OCR'ın yaptığı işe benziyor ama model ayrıca "toplam hangisi?" gibi soruları cevaplayabiliyor. - Grafik ve diyagram açıklama: Bir grafiğin ne gösterdiğini özetletmek. Burada sonucu her zaman asıl veriyle karşılaştırmak gerekiyor; sunum bölümünde konuştuğum rakam kayması burada da geçerli. - Erişilebilirlik: Görme güçlüğü olan biri için resmin içeriğini anlatmak.
Bir de güvenlik tarafı var. Resmin içinde yazı varsa model onu da okuyor. Bu yazı bir talimat olabilir. OWASP'ın LLM01 maddesi prompt injection'ın multimodal girdilerde, yani resmin içine gömülmüş talimatlarla da yapılabileceğini anlatıyor. Kaynağını bilmediğiniz bir görseli, araç kullanabilen bir asistana vermeden önce bunu hatırlamak lazım.