Ajan Cüzdan · Makine Odası: Bir AI agent'ın karar anında ne bildiğini nasıl kanıtlarsınız?
Look-ahead, LLM trading sonuçlarının en büyük düşmanı. Tuna, Ai Trader'ın karar anını nasıl kilitlediğini (hash'li anlık görüntü, karardan sonraki fiyattan fill, aynı günü puanlamayan karne) ve bugün kayıtta bulduğu bir boşluğu anlatıyor.

Bugün 14:01 kontrolünde B − A 0,204 puandı. Dört iş günlük bir simülasyonda bu rakamdan "Claude değer kattı" sonucu çıkmaz; ama bu yazının sorusu başka. Diyelim ki bir gün o fark anlamlı büyüklüğe ulaştı. Birisi "bu sonuç gerçek mi, yoksa model cevabı önceden biliyor muydu?" diye sorduğunda ne göstereceğiz? Dünkü Makine Odası'nda görüşün portföye nasıl çevrildiğini anlatmıştım. Bugün aynı makinenin daha az parlak ama daha önemli parçasına bakıyorum: zamanın kilidine.
Neden ilk düşman look-ahead
Yayımlanmış LLM trading başarılarının önemli bir kısmı geçmiş veriyle yapılan backtest'lerden geliyor. Sorun şu: model o dönemin haberlerini ve fiyatlarını eğitim verisinden hatırlıyor olabilir. Buna look-ahead bias diyoruz. Ai Trader'ın fikir dokümanı bu yüzden canlı ortamda ölçen LiveTradeBench gibi çalışmaları ve başlığıyla meseleyi özetleyen The Alpha Illusion makalesini kaynak gösteriyor. Çıkardığı sonuç basit: geçerli tek değerlendirme, model cutoff'undan sonra yapılan ileriye dönük paper trading. Ajan Cüzdan 13 Kasım'da başladı ve her gün gerçek fiyatlarla ilerliyor; yarının fiyatı bugün hiçbir dosyada yok.
SiberMagazin Ajan Cüzdan100.000 TL'yi yapay zekâ yönetseydi ne olurdu? Canlı simülasyon panosu. Yatırım tavsiyesi değildir.Panoyu aç ›Ama ileriye dönük çalışmak tek başına yetmiyor. Sistemin kendi içinde de geleceğin geçmişe sızmaması gerekiyor.
Üç kilit
Birincisi, her veri çekimi bir anlık görüntü. Ai Trader piyasa verisini her çektiğinde ham seriyi diske yazıyor, içeriğin SHA-256 hash'inin ilk 16 karakterini çıkarıyor ve bu hash'i, TL'ye çevrilmiş fiyatlarla birlikte append-only denetim kaydına işliyor. Bugünkü 14:01 kontrolünün kaydında anlık görüntü kimliği 5f8fdae22f184963. Bir kararı incelerken "model hangi fiyatları gördü?" sorusunun cevabı bu kimlik.
İkincisi, fill karardan sonra. Karar anının fiyatıyla işlem yapmak, en sinsi look-ahead biçimlerinden biri: kararı veren veriyle işlemi yapan fiyat aynı anda bilinmez. Kod bunu açıkça ayırıyor. Borsa saatli varlıklarda emir, karar anından sonraki ilk günlük açılış fiyatından; altın, dolar ve kripto gibi sürekli piyasalarda en az bir saat sonraki kontrolün fiyatından gerçekleşiyor. Bu sürede emir "bekliyor" olarak kayda geçiyor.
Üçüncüsü, karne aynı günü puanlamıyor. Claude'un görüşleri, verildiği günün kapanışından bugüne varlığın TL getirisiyle puanlanıyor; aynı günün görüşü değerlendirmeye girmiyor. Görüş, kendini doğrulayan fiyatı görmeden notlanmıyor.
Gerçek bir karar: model neyi bilmediğini yazıyor
17 Kasım 18:37'deki CIO görüşü, ABD kalemindeki negatif tilt'i korudu. Gerekçe şuydu: büyük bir çip üreticisinin bilançosu o gün kapanıştan sonra, Fed tutanakları ertesi gün açıklanacak; "iki ikili olay öncesi" mevcut görüş korunuyor. Bilanço gece geldi ve beklentiyi aştı. Bugünkü öğle notu (görüş dosyası, 12:44) aynı disiplini sürdürüyor: tutanakların 22:00'de açıklanacağını, 18:30 turunun bunu göremeyeceğini kendisi yazıyor.
Bu bana göre yenilikçi kısım. Kuant model neyi bilmediğini söylemez; yalnızca elindeki seriyle hesaplar. Burada dil modeli, karar anındaki bilgi sınırını gerekçenin içine yazıyor. Sonradan inceleyen kişi, kararın hangi bilgiyle ve hangi bilgi olmadan verildiğini metinden okuyabiliyor.
Bugün bulduğum boşluk
Kaydı satır satır izlerken bir eksik gördüm. Anlık görüntü dosyasının adı saat düzeyinde. Aynı saat içinde ikinci bir çekim olursa ilkinin ham verisi aynı dosyanın üstüne yazılıyor. Bugün tam bu oldu: 12:01 kontrolünün anlık görüntüsü (f17a2253f5b32696) ile 12:44'teki öğle notu için yapılan çekim (8a875e7cabe4d2b3) aynı saate düştü. Diskteki dosya artık ikincisini taşıyor. 12:01'in hash'i ve TL fiyatları denetim kaydında duruyor, ama ham seri yok.
Bu, bir sonucu çarpıtmıyor; işlem olmayan bir kontrolde değerleme farkı yaratmıyor. Ama "kanıt" ile "delil" arasındaki farkı gösteriyor: hash, verinin ne olduğunu söyler; veriyi yeniden üretmek için dosyanın kendisi gerekir. Point-in-time iddiası ancak her karar anının ham verisi geri çağrılabildiğinde tam olur.
Kendi agent'ınızda
- Karar veren her adımın gördüğü veriyi içerik hash'iyle kaydedin ve dosya adını zamana değil hash'e bağlayın; aynı dakikada iki çekim, iki ayrı kayıt olsun.
- Karar fiyatı ile işlem fiyatını ayırın: kararın ardından gelen ilk geçerli fiyattan işlem yapın, aradaki bekleme süresini de kayda yazın.
- Modelden, gerekçesinde neyi bilmeden karar verdiğini açıkça yazmasını isteyin; ileride yapılacak incelemenin en değerli satırı bu olur.