llama.cpp v1.0.0 yayımlandı: eski API kaldırıldı, llama-server'a yeni güvenlik varsayılanları geldi

Büyük dil modellerini kişisel bilgisayarda ve kurum içi sunucuda çalıştırmak için en yaygın kullanılan açık kaynak projelerden llama.cpp, 13 Kasım'da v1.0.0 etiketli sürümünü yayımladı. GitHub'daki sürüm sayfasında bugüne kadar görülen yapı numaralı (b12366 gibi) etiketler ön sürüm olarak işaretli duruyor; v1.0.0 ise "Latest" rozetini taşıyor.

Sürüm notlarının özeti şöyle: kullanımdan kaldırılmış genel API temizlendi, NextN/speculative API llama.h içine alındı, bellek tarafında yeni önbellek seçenekleri eklendi ve llama-server güvenlik açısından sıkılaştırıldı. Alt kütüphane ggml de v1.0.0'a güncellendi.

Neler değişti?

Sürüm notlarına göre öne çıkanlar:

• API temizliği: llama_set_warmup ile birlikte 35 eski fonksiyon, defrag_thold parametresi ve --defrag-thold seçeneği kaldırıldı. llama_set_embd_state_src fonksiyonunun adı llama_set_ctx_state_src oldu. clip.h kaldırılıp mtmd altında birleştirildi.
• Bellek: OCP FP8 biçiminde KV cache desteği ve MoE modeller için ana bellekte tutulan, CPU payı ayarlanabilen bir "expert cache" eklendi (moe_cache_size, moe_cache_cpu_share).
• Model desteği: üç yeni metin mimarisi, drama-3 TTS ile MageVL-Cowork ve Kimi-K3.1 görüntü modelleri.
• Sunucu: OpenAI uyumlu /v1/audio/speech uç noktası, boşta kalınca uykuya geçme seçeneği (--sleep-idle-seconds) ve yeniden tasarlanmış web arayüzü.

Sürüm notlarında "breaking change" ifadesi geçmiyor; ancak kaldırılan ve yeniden adlandırılan fonksiyonlar, kütüphaneyi doğrudan kullanan uygulamaların derlenmesini etkileyebilir. Notlar bir API kararlılık taahhüdü de içermiyor; sürümleme kuralları için ggml projesindeki ayrı bir tartışma sayfasına bağlantı veriliyor.

Güvenlik tarafı: llama-server

Güvenlik ekipleri açısından sürümün en dikkat çekici bölümü sunucu değişiklikleri:

• İki yeni açık izin seçeneği geldi: --allow-unauthenticated-tools ve --media-allow-private-urls. Yani kimlik doğrulaması olmadan tool çağrısı ve özel ağ adreslerinden medya çekme, yöneticinin bilerek açması gereken davranışlar hâline geldi.
• --cors-origins işleyişi, DNS rebinding, CORS proxy üzerinden SSRF ve alt örneklere erişimle ilgili düzeltmeler yapıldı.
• HF_TOKEN artık yalnızca huggingface.co adreslerine gönderiliyor.
• İstemci bağlantıyı kestiğinde ya da zaman aşımı olduğunda MCP tool çağrıları iptal ediliyor.

Sürüm notları bu düzeltmeler için CVE kimliği ya da şiddet puanı vermiyor.

Neden önemli?

llama.cpp, masaüstündeki yerel AI uygulamalarının ve birçok kurum içi çıkarım servisinin altındaki motor. llama-server çoğu zaman bir geliştirici makinesinde ya da iç ağda, kimlik doğrulaması düşünülmeden açılıyor. Tool çağrısı yapabilen bir sunucuda DNS rebinding ya da SSRF, modelin kendisinden bağımsız olarak iç ağa açılan bir kapı anlamına gelebiliyor. Varsayılanların sıkılaşması bu yüzden model desteğinden daha kalıcı bir değişiklik.

Kimin işine yarar, ne yapabilirsiniz?

1. Envanter çıkarın: Ortamınızda llama.cpp'yi doğrudan ya da başka bir aracın içinde gömülü olarak kullanan servisleri belirleyin. Gömülü kullanan araçlar yeni sürüme kendi takvimleriyle geçer; o aracın sürüm notlarını izleyin.
2. Upgrade'i test ortamında deneyin: Kütüphaneye karşı derlenen kendi kodunuz varsa kaldırılan fonksiyonları sürüm notlarındaki listeyle karşılaştırın; başlatma betiklerinde --defrag-thold kalmışsa temizleyin.
3. Sunucu ayarlarını gözden geçirin: Yeni iki izin seçeneğini yalnızca gerçekten gerekiyorsa ve sunucu güvenilir bir ağ segmentindeyse açın. llama-server'ı internete doğrudan açmayın; önüne kimlik doğrulaması yapan bir katman koyun.
4. Token'ları kontrol edin: HF_TOKEN kullanan ortamlarda, model indirme adreslerinin huggingface.co dışında bir aynaya işaret edip etmediğine bakın; yeni davranış bu senaryoyu etkileyebilir.

Kurulu sürümü, sunucunun başlangıç çıktısından ya da kullandığınız aracın "Hakkında" bölümünden görebilirsiniz.

Yerel modellerle ilgili daha önce yazdığımız llama-modchip haberi de aynı ekosistemin parçasıydı.