Google iki yeni TPU duyurdu: gizli çıkarım için TPU 8tx, iki çipi tek pakette birleştiren TPU 8i Max

Google, 9 Kasım'da AI ve altyapıdan sorumlu kıdemli başkan yardımcısı Amin Vahdat imzalı blog yazısıyla iki yeni Tensor Processing Unit sistemi duyurdu: TPU 8tx ve TPU 8i Max. Şirket bununla bir yıl içinde dört yeni TPU sistemi çıkardığını vurguluyor; TPU 8t ve 8i Nisan ayında Google Cloud Next'te tanıtılmıştı.

İki çip ne vaat ediyor?

TPU 8tx, Google'ın tanımıyla güvenli ve gizli çıkarım (inference) için optimize edildi, küçük ölçekli eğitim için de uygun. TPU 8t ile aynı silikonu kullanıyor ve 5. nesil AMD EPYC işlemcili sunucularla eşleşiyor. 8i'deki "Boardfly" ağ tasarımını aldığı için TPU 8t'ye göre 2 kata kadar daha düşük gecikme sunduğu belirtiliyor. Donanım düzeyindeki confidential computing sayesinde hassas veriyi taşımadan özel fine-tuning, distillation ve pekiştirmeli öğrenme yapılabileceği söyleniyor; hedef kitle düzenlemeye tabi kurumlar ve devletler.

TPU 8i Max ise iki TPU 8i çipini tek pakette birleştiriyor. Google'a göre bu, 8i'ye kıyasla iki kat işlem gücü, iki kat SRAM ve iki kat HBM bant genişliği demek; mevcut rack alanına iki kat silikon sığıyor. Çip, çok büyük context window'lar ve rack başına en yüksek işlem yoğunluğu için konumlandırılıyor.

Yazıda FLOPS, HBM kapasitesi, güç tüketimi gibi mutlak değerler ve genel erişim tarihi yer almıyor. Benchmark iddiaları da rakam verilmeden "fiyat-performans rekoru" olarak geçiyor; bunlar Google'ın kendi iddiası.

Yazılım tarafında ne var?

Google aynı yazıda Cloud Pathways'in GKE'de genel erişime açıldığını, optik devre anahtarlamalı GKE dynamic slicing'in iş başlatma sürelerini 5 kata kadar kısalttığını söyledi. Claude Code, Cursor ve Google Antigravity'ye bağlanan açık kaynak bir "TPU agent suite" önizlemede. TPU'ların frontier laboratuvarları, finans şirketleri ve üniversiteler dahil yaklaşık 100 müşterisi olduğu ve müşterilerin TPU'ları kendi veri merkezlerine kurabildiği de belirtiliyor.

Neden önemli?

AI çıkarımı büyüdükçe iki baskı öne çıkıyor: hassas verinin işlenirken korunması ve veri merkezindeki alan/enerji sınırı. TPU 8tx ilkine, 8i Max ikincisine yönelik. Confidential computing'in çıkarım donanımına girmesi, sağlık, finans ve kamu gibi verisini buluta taşımakta çekingen sektörler için önemli bir başlık.

Kimin işine yarar / ne yapabilirsiniz?

• Düzenlemeye tabi veriyle model eğitmek ya da çalıştırmak isteyen kurumlar, TPU 8tx'in confidential computing güvencelerini ve denetim/attestation belgelerini erişim açıldığında Google Cloud'dan talep edebilir.
• Uzun context ile yoğun çıkarım yapan ekipler, 8i Max'in fiyat ve bölge bilgisi yayımlandığında mevcut GPU/TPU maliyetleriyle karşılaştırma yapabilir.
• PyTorch kullanan ekipler, Google'ın açık kaynak TorchTPU ve agent suite araçlarını önizleme aşamasında deneyebilir.