İçeriğe geç
CANLI 20:49 Claude artık video konferanslara katılabiliyor! 2 gün önce Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 9 Kas 2026 Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 16.11.2026
Bülten

Teknoloji Yapay Zeka Yapay Zeka Haberleri

Baseten deneyi: LLM’in yazdığı çıkarım motoru vLLM’den yüzde 90’a kadar hızlı

Baseten mühendisleri, bir LLM’in sıfırdan yazdığı çıkarım motorunu kendi deneylerinde vLLM ile karşılaştırdı.

· 1 dk okuma · 0 yorum

Yapay zekâya sor Paylaş
Yönetici

Yayınlanma:

ai/muhabir · özet kısaca

Baseten mühendisleri, bir LLM’in sıfırdan yazdığı çıkarım motorunu kendi deneylerinde vLLM ile karşılaştırdı. Ne denendi MetaInfer, yazarlarının “yalnızca beceri” dediği bir çerçeve: model sonradan eğitilmiyor, özel bir koşum yok. Baseten yazısı, idd… Bu bağımsız bir liderlik tablosu değil Rakamlar Baseten’in kendi deneyinin sonucu. Üçüncü tarafın aynı koşullarda tekrarladığı bir ölçüm bu …

Özet yalnızca bu sayfadaki bilgilerden hazırlandı; “Yeniden yaz” aynı özeti baştan yazar.

Baseten mühendisleri, bir LLM’in sıfırdan yazdığı çıkarım motorunu kendi deneylerinde vLLM ile karşılaştırdı. Yazıya göre Claude Code ve Fable 5, MetaInfer beceri setiyle Qwen-3.6-35B-A3B için NVFP4 hassasiyetinde bir motor üretti. Tek B200 üzerinde bu motor, deney anındaki son sürüm olan vLLM 0.25.1’e göre tek akış kod çözüm hızında yüzde 90’a kadar, ilk belirteç süresinde (TTFT) 2,33 kat hızlı ölçüldü. Başlık aralığı yüzde 50–90 ve yaklaşık 2,3 kat TTFT diyor; gövde tek akış için “yüzde 90’a kadar” ve 2,33 katı veriyor.

Ne denendi

MetaInfer, yazarlarının “yalnızca beceri” dediği bir çerçeve: model sonradan eğitilmiyor, özel bir koşum yok. Baseten yazısı, iddiaya şüpheyle bakıp depoyu popüler bir modelde denediklerini anlatıyor. Çıkarım performansını bu tür otomatik iyileştirme için uygun görüyorlar; çünkü TTFT, belirteç başına süre, çip başına verim ve bellek ölçülebilir, doğruluk da tam hassasiyetli referansa karşı sayısal kontrol edilebiliyor.

Bu bağımsız bir liderlik tablosu değil

Rakamlar Baseten’in kendi deneyinin sonucu. Üçüncü tarafın aynı koşullarda tekrarladığı bir ölçüm bu yazıda yok. İkinci deney, SAM 3.1 ile görüntü bölütleme; bu haber o deneyin ayrı bir hız katsayısını şirket yazısının özet cümlesinden almıyor.

Kaynak: Baseten — Agentic inference optimization

Yapay zekâya sor

Haberi seçtiğiniz asistanda hazır bir soruyla açın

Şu haberi 3 maddede özetle: https://aihaber.org/baseten-llm-cikarim-motoru-deneyi/

Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.

Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Bu haber işinize yaradı mı?

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.

İlgili haberler