Kısaca · 3 madde
- 1Hugging Face, transformers kütüphanesinde GGUF kuantize modelleri verimli çalıştırma desteğini duyurdu.
- 2Nasıl çalışıyor? Performansı llama.cpp’ye yaklaştırmak için ggml çekirdekleri kernels kütüphanesi üzerinden yeniden kullanılıyor; generate t…
- 3Kapsam ve sınırlar İlk odak yerel çıkarımda Apple Silicon ve Qwen3.5 (ve uyumlu Qwen3.8) mimarileri. Paketli yol şimdilik MPS’ye özgü; paddi…
Hugging Face, transformers kütüphanesinde GGUF kuantize modelleri verimli çalıştırma desteğini duyurdu. Hub’dan bir GGUF seçip from_pretrained ile gguf_file parametresi vererek laptop belleğine uygun checkpoint’lerle üretim yapılabilecek.
Nasıl çalışıyor?
Performansı llama.cpp’ye yaklaştırmak için ggml çekirdekleri kernels kütüphanesi üzerinden yeniden kullanılıyor; generate tarafında senkronizasyon azaltılıyor. Ağırlıklar Metal’de paketli kaldığında uyumlu ggml/Metal katman çekirdekleri ve ggml-org/ggml-attn dikkat uygulaması otomatik yükleniyor. Çekirdek alınamazsa uyarıyla sdpa’ya düşülüyor.
Kapsam ve sınırlar
İlk odak yerel çıkarımda Apple Silicon ve Qwen3.5 (ve uyumlu Qwen3.8) mimarileri. Paketli yol şimdilik MPS’ye özgü; padding/batching hâlâ geliştiriliyor. Blog, MacBook Pro M2 Max üzerinde llama.cpp’ye yakın tok/s ölçümleri paylaşıyor. Önerilen başlangıç kuantı Q4_K_M.
Kaynak: Hugging Face — Transformers now runs llama.cpp quants
Yapay zekâya sor
Haberi seçtiğiniz asistanda hazır bir soruyla açın
Şu haberi 3 maddede özetle: https://aihaber.org/huggingface-transformers-gguf-llama-cpp/
Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.
Bu haber işinize yaradı mı?
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.

Yorum yazın