Edge0, 145 milyar parametreli açık modelini yayımladı: şirkete göre dizüstü bilgisayarda 28 GB bellekle çalışıyor

Edge0, 12 Kasım'da yayımladığı blog yazısıyla Edge0-145B ve Edge0-120B modellerini açık kaynak olarak duyurdu. Şirket, modellerle birlikte birleşik inference framework'ünü ve dağıtım araçlarını da yayımladığını; model ağırlıklarının, framework'ün ve Edge0 App'in erişime açıldığını belirtiyor. Duyuru Hacker News ön sayfasına da çıktı.

Edge0, 145B'yi "145 milyar parametreli ilk açık kaynak on-device model" olarak tanımlıyor ve kodlama, akıl yürütme ile agent yeteneklerinde bulut modelleriyle yarıştığını öne sürüyor. Bu ifadeler üreticinin kendi iddiasıdır; blog yazısındaki ölçümlerin kaynağı "iç testler" olarak gösteriliyor ve bağımsız bir doğrulama henüz yok.

Şirketin açıkladığı rakamlar

• Dizüstü bilgisayar: Edge0-145B için saniyede 80'den fazla token ve 28 GB tepe bellek kullanımı bildiriliyor.
• Telefon: Daha önce yayımlanan Edge0-35B'nin iPhone 18 Pro Max'te yaklaşık 2,5 GB bellekle saniyede 37'den fazla token ürettiği belirtiliyor. Şirket, iki ölçümün farklı model ve donanıma ait olduğunu not ediyor.
• Etkin parametre: 145 milyar parametrenin her inference adımında yalnızca yaklaşık 10 milyarı hesaplamaya katılıyor.
• Depolama katmanları: Yaklaşık 40 GB'lık "expert kütüphanesi" sistem belleğinde tutuluyor, yaklaşık 48 GB'lık sözcük dağarcığı verisi SSD'den gerektikçe okunuyor.

Bu son madde önemli: 28 GB'lık tepe bellek rakamı tek başına donanım gereksinimini anlatmıyor. Blog yazısındaki mimari tarif, GPU belleği, sistem belleği ve hızlı bir SSD'nin birlikte kullanıldığını gösteriyor.

Nasıl sığdırılmış?

Şirketin anlatımına göre dört tasarım kararı var. Mimaride her 64 expert'lik grup iki büyük matrisi paylaşıyor, her expert yalnızca kendi farkını tutan küçük bir parametre kümesi taşıyor. Model, bulutta eğitilip sonradan sıkıştırılmak yerine baştan cihaz üstü mimarisiyle eğitiliyor. Yükleme tarafında sık kullanılan expert'ler GPU belleğinde kalıyor, diğerleri sistem belleğinden ve SSD'den ihtiyaç oldukça getiriliyor. Zamanlamada GPU önbellekteki expert'leri, CPU kalan işi paralel hesaplıyor; speculative decoding ile birden fazla aday token aynı anda doğrulanıyor.

Neden önemli?

Şirketin kendi derlemesine göre Eylül 2026'dan önce cihaz üstü modellerin çoğu 10 milyar parametrenin altındaydı. Yüz milyar parametrenin üzerindeki bir modelin kişisel bilgisayarda kullanılabilir hızda çalışması, iddia doğrulanırsa, hassas verisini buluta göndermek istemeyen kurumlar için yerel modeli gerçek bir seçenek hâline getirir. Öte yandan güçlü bir modelin denetimsiz biçimde herkesin bilgisayarında çalışabilmesi, bulut sağlayıcıların uyguladığı kötüye kullanım filtrelerinin devre dışı kalması anlamına da gelir.

Kimin işine yarar, ne yapabilirsiniz?

1. Veriyi kurum dışına çıkaramayan ekipler (hukuk, sağlık, savunma, finans) modeli yalıtılmış bir test makinesinde, kendi iş örnekleriyle deneyebilir. Üreticinin benchmark'ına değil kendi ölçümünüze güvenin.
2. Denemeden önce model kartındaki lisans koşullarını okuyun; blog yazısı "açık kaynak" diyor, ticari kullanım koşulları model kartında yazar.
3. Ağırlıkları yalnızca şirketin resmi sayfasından indirin. Popüler model adlarını taklit eden sahte sitelerin yaygınlığını 186 sahte AI domain haberinde aktarmıştık.
4. Güvenlik ekipleri için not: çalışan bilgisayarlarında onlarca GB'lık model dosyaları ve yerel inference süreçleri artık beklenen bir görüntü olabilir. Kurum politikasında yerel model kullanımına izin verilip verilmediğini açıkça yazın.