NVIDIA, 753 milyar parametreli GLM-5.3'ü iki DGX Station üzerinde vLLM ile sunmanın tarifini yayımladı: şirkete göre zirve 607,8 token/sn
Tek GB300 GPU'nun 252 GB belleğine sığmayan yaklaşık 464 GB'lık GLM-5.3 NVFP4 modeli, ConnectX-8 RDMA ile bağlanan iki DGX Station'a bölünerek tek bir OpenAI uyumlu endpoint'ten sunuluyor. NVIDIA'nın ölçümünde yük arttıkça bekleme süresi dakikalara çıkıyor.
NVIDIA, Z.ai'nin açık ağırlıklı modeli GLM-5.3'ü kurum içinde, buluta çıkmadan çalıştırmak isteyenler için ayrıntılı bir kurulum rehberi yayımladı. Yazı Hacker News ön sayfasında da ilgi gördü.
Sorun basit: NVIDIA'nın NVFP4 biçiminde sıkıştırdığı GLM-5.3, 753 milyar parametreli bir mixture-of-experts (MoE) modeli ve her token'da yaklaşık 40 milyar parametre devreye giriyor. Ancak hangi uzmanın seçileceği token'a göre değiştiği için ağırlıkların tamamı bellekte durmak zorunda. Yaklaşık 464 GB'lık model, tek bir GB300 GPU'nun 252 GB'lık HBM3e belleğine sığmıyor.
Nasıl çözülüyor?
Rehberde iki DGX Station, ConnectX-8 RDMA bağlantısıyla birleştiriliyor ve vLLM, tensor parallelism (TP=2) ile modelin ağırlıklarını iki GPU'ya bölüyor. Her istek iki makinede birlikte hesaplanıyor, cevap tek bir OpenAI uyumlu API'den dönüyor. Ağırlıkların CPU'ya taşınması kapalı tutuluyor. Verimi artırmak için multi-token prediction (adım başına dört token taslağı), FP8 KV-cache ve prefix caching açılıyor.
Rakamlar (NVIDIA'nın ölçümü)
NVIDIA'nın SPEED-Bench Coding veri setiyle yaptığı AIPerf testine göre toplam çıktı hızı 16 eş zamanlı istekte 607,8 token/sn ile zirve yapıyor. 32 eş zamanlı istekte hız 385,0 token/sn'ye düşüyor ve ortalama istek süresi 453,5 saniyeye çıkıyor. Yani kurulum küçük bir ekibin iç kullanımına uygun, yüksek trafikli bir servise değil. Rakamlar üreticinin kendi testine ait; bağımsız ölçüm yok.
Neden önemli?
En büyük açık ağırlıklı modeller artık tek makineye sığmıyor. Veriyi dışarı çıkaramayan kurumlar için "yerel frontier model" çoklu makine, yüksek hızlı ağ ve dağıtık sunum bilgisi gerektiren bir altyapı projesine dönüşüyor. NVIDIA'nın rehberi, bu kurulumun bir başlangıç ölçüsünü ilk kez somut rakamla veriyor.
Kimin işine yarar / ne yapabilirsiniz?
- Hassas veriyle model çalıştırmak isteyen kurumlar, rehberdeki gecikme rakamlarını kendi kullanıcı sayılarıyla karşılaştırarak donanım kararını ölçmeli.
- Model, NVIDIA Open Model Agreement ve GLM-5.3'ün kendi lisansına tabi; kurumsal kullanım öncesi her iki lisans hukuk biriminden geçirilmeli.
- Endpoint iç ağda bile kimlik doğrulama ve erişim kaydıyla korunmalı; OpenAI uyumlu bir API, yetkisiz kullanımı da aynı kolaylıkla kabul eder.
