Açık kaynak llama-modchip, 284 milyar parametreli DeepSeek-V4-Flash'ı GPU'suz ve 64 GB RAM'de çalıştırdığını iddia ediyor
GitHub'da yayımlanan llama-modchip, llama.cpp için çekirdek yamaları ve yeni bir quantization biçimiyle 284B parametreli DeepSeek-V4-Flash'ı 64 GB RAM'li bir masaüstünde yalnızca CPU ile çalıştırdığını söylüyor. Proje Hacker News'te yüzlerce oy aldı; rakamlar geliştiricinin kendi ölçümü.
GitHub'da Apache 2.0 lisansıyla yayımlanan llama-modchip adlı açık kaynak proje, 284 milyar parametreli DeepSeek-V4-Flash modelini GPU kullanmadan, 64 GB RAM'li sıradan bir masaüstü ya da sunucuda çalıştırdığını öne sürüyor. Proje hafta sonu Hacker News ön sayfasında 370'i aşkın oy ve 160'tan fazla yorum aldı; GitHub'daki depo 500'ü aşkın yıldıza ulaştı.
Ne yapıyor?
Projenin açıklamasına göre llama-modchip, popüler yerel çıkarım motoru llama.cpp için bir dizi çekirdek yaması, quantization dönüştürücüsü ve çalışma zamanı aracından oluşuyor. Hedef, Mixture-of-Experts (MoE) mimarili büyük modelleri tamamen sistem belleğinde çalıştırmak:
- DeepSeek-V4-Flash'ın 284,33 milyar toplam ve 13,17 milyar aktif parametresi, geliştiricinin "Fractal-64" dediği karma bir quantization ile ortalama 1,71 bit/ağırlığa indiriliyor. Dosya boyutu, standart düşük bitli sürümdeki 76,87 GiB'den 56,56 GiB'ye düşüyor.
- Böylece model ve 256 bin token context, 64 GB'lık bir Linux sistemde swap kullanmadan belleğe sığıyor.
- AVX-512 ve ARM NEON için önbellek odaklı matris çekirdekleri ile prompt işleme hızında yüzde 77, üretimde yüzde 53 artış iddia ediliyor.
Rakamlar (geliştiricinin iddiası)
Depodaki ölçümlere göre 16 çekirdekli bir Zen 5 işlemcide DeepSeek-V4-Flash için prompt işleme saniyede 44,4 token, metin üretimi saniyede 9,1–14,7 token. Daha küçük 30B MoE modellerde (ör. NVIDIA Nemotron-3.5-30B) yalnızca CPU ile saniyede 25–111 token bildiriliyor. Proje ayrıca Claude Code gibi agent araçlarını bu yerel motora bağlayan bir mod içeriyor. Bu rakamlar bağımsız olarak doğrulanmış değil; özel tensör türü kullandığı için modeller değiştirilmemiş llama.cpp, Ollama ya da LM Studio ile açılmıyor.
Neden önemli?
Büyük açık modelleri çalıştırmanın önündeki en büyük engel pahalı GPU belleği. İddialar tutarsa, 284B ölçeğinde bir model kurum içinde, veriyi buluta göndermeden, tek bir 64 GB'lık makinede denenebilir hâle geliyor. Bu, gizlilik gereksinimi yüksek kurumlar için dikkat çekici bir seçenek; ancak 1,7 bit düzeyindeki agresif sıkıştırmanın kaliteye etkisi her kullanım senaryosunda ayrıca ölçülmeli.
Kimin işine yarar / ne yapabilirsiniz?
- Yerel LLM deneyen geliştiriciler ve araştırmacılar, projeyi önce izole bir test makinesinde, kendi kalite ölçütleriyle değerlendirebilir.
- Kurumlar, internetten indirilen önceden derlenmiş ikili dosyaları ve model dosyalarını üretim ortamına almadan önce kaynak, lisans ve bütünlük kontrolünden geçirmeli; mümkünse kaynak koddan derlemeyi tercih etmeli.
- Yerel modeli agent araçlarına bağlarken modelin erişebileceği dosya ve komutları sınırlayın; yerel çalışmak, agent yetkilendirme kurallarını gereksiz kılmaz.
