İçeriğe geç
CANLI Dün Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 6 gün önce Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem 8 Kas 2026 Gemini 4 Flash ve Yeni Claude İçin İşaretler Artıyor: LMArena’da ‘Hydrogen’, Sızıntıda ‘Hyperion’ Zekâ endeksi lideri Claude Opus 5 (Adaptive Reasoning, Max Effort) · 63,1 16.11.2026
Bülten

AI Araçları Yapay Zeka Yapay Zeka Haberleri

Hugging Face transformers: GGUF kuantize modelleri doğrudan yükleme desteği

Hugging Face, transformers kütüphanesinde GGUF kuantize modelleri verimli çalıştırma desteğini duyurdu.

· 1 dk okuma · 0 yorum

Yapay zekâya sor Paylaş
Kısaca · 3 madde
  1. Hugging Face, transformers kütüphanesinde GGUF kuantize modelleri verimli çalıştırma desteğini duyurdu.
  2. Nasıl çalışıyor? Performansı llama.cpp’ye yaklaştırmak için ggml çekirdekleri kernels kütüphanesi üzerinden yeniden kullanılıyor; generate t…
  3. Kapsam ve sınırlar İlk odak yerel çıkarımda Apple Silicon ve Qwen3.5 (ve uyumlu Qwen3.8) mimarileri. Paketli yol şimdilik MPS’ye özgü; paddi…

Hugging Face, transformers kütüphanesinde GGUF kuantize modelleri verimli çalıştırma desteğini duyurdu. Hub’dan bir GGUF seçip from_pretrained ile gguf_file parametresi vererek laptop belleğine uygun checkpoint’lerle üretim yapılabilecek.

Nasıl çalışıyor?

Performansı llama.cpp’ye yaklaştırmak için ggml çekirdekleri kernels kütüphanesi üzerinden yeniden kullanılıyor; generate tarafında senkronizasyon azaltılıyor. Ağırlıklar Metal’de paketli kaldığında uyumlu ggml/Metal katman çekirdekleri ve ggml-org/ggml-attn dikkat uygulaması otomatik yükleniyor. Çekirdek alınamazsa uyarıyla sdpa’ya düşülüyor.

Kapsam ve sınırlar

İlk odak yerel çıkarımda Apple Silicon ve Qwen3.5 (ve uyumlu Qwen3.8) mimarileri. Paketli yol şimdilik MPS’ye özgü; padding/batching hâlâ geliştiriliyor. Blog, MacBook Pro M2 Max üzerinde llama.cpp’ye yakın tok/s ölçümleri paylaşıyor. Önerilen başlangıç kuantı Q4_K_M.

Kaynak: Hugging Face — Transformers now runs llama.cpp quants

Yapay zekâya sor

Haberi seçtiğiniz asistanda hazır bir soruyla açın

Şu haberi 3 maddede özetle: https://aihaber.org/huggingface-transformers-gguf-llama-cpp/

Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.

Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Bu haber işinize yaradı mı?

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.

İlgili haberler