İçeriğe geç
CANLI 22 sa önce Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 6 gün önce Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem 8 Kas 2026 Gemini 4 Flash ve Yeni Claude İçin İşaretler Artıyor: LMArena’da ‘Hydrogen’, Sızıntıda ‘Hyperion’ Zekâ endeksi lideri Claude Opus 5 (Adaptive Reasoning, Max Effort) · 63,1 15.11.2026
Bülten

Çin Teknolojisi Yapay Zeka Yapay Zeka Haberleri

DeepSeek, üretimde kullandığı çıkarım çerçevesi DeepInfer’ı açık kaynak yaptı

Çinli yapay zekâ şirketi DeepSeek, kendi büyük ölçekli bulut hizmetlerinde kullandığı çıkarım (inference) çerçevesi DeepInfer'ı açık kaynak olarak yayımladı.

· 3 dk okuma · 0 yorum

Yapay zekâya sor Paylaş
Kısaca · 3 madde
  1. Çinli yapay zekâ şirketi DeepSeek, kendi büyük ölçekli bulut hizmetlerinde kullandığı çıkarım (inference) çerçevesi DeepInfer'ı açık kaynak olarak yayımladı.
  2. Çerçeve Apache 2.0 lisansıyla sunuluyor.
  3. Yayımlanan dağıtım Soru-Cevap belgesi, sistemin üç hedef etrafında kurulduğunu söylüyor: farklı üreticilerin hızlandırıcılarında çalışmak, p…

Çinli yapay zekâ şirketi , kendi büyük ölçekli bulut hizmetlerinde kullandığı çıkarım (inference) çerçevesi DeepInfer‘ı açık kaynak olarak yayımladı. Şirketin GitHub’daki açıklamasına göre DeepInfer, -V4.1-Flash’ın yüksek verimli ve düşük gecikmeli servisinin arkasındaki sistem. , tek bir kümenin şu anda günde 155 trilyon token işlediğini ve gece/düşük talep fiyatlandırmasıyla GPU saati başına toplam gelirin 38 dolar olduğunu belirtiyor.

Çerçeve Apache 2.0 lisansıyla sunuluyor. Bu ilk sürüm, ölçekli servis için gereken çekirdek özelliklerle çevrimdışı (offline) çıkarım sağlıyor ve şimdilik yalnızca -V4.1-Flash modelini destekliyor. Varsayılan model kontrol noktası -V4.1-Flash-1017.

DeepInfer neler sunuyor?

  • Optimize çekirdekler: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect ve özel TileLang çekirdekleri.
  • Paralellik: Attention tarafında veri paralelliği / dengeli bağlam paralelliği, MoE tarafında uzman paralelliği (EP) ve EPLB yük dengeleme.
  • DSpark ve güven skoruna göre doğrulama: Taslak token’larla kod çözmeyi hızlandırıp doğrulamayı güven tahminine göre zamanlıyor.
  • SWA sınırlı yeniden oynatma: Prefill yükünü yalnızca sınırlı bir son eki yeniden işleyerek azaltıyor.
  • Asenkron zamanlama, batch’ten bağımsız çıkarım ve deterministik örnekleme: Aynı girdiye aynı çıktıyı üretme seçenekleri (son ikisi yalnızca ’da).
  • Yapılandırılmış çıktı: Regex, JSON şeması veya EBNF dilbilgisiyle üretimi kısıtlama.

Donanım tarafında SM100 GPU’lar ve Huawei Ascend 950 NPU’lar destekleniyor. , performans ölçümlerinin prefill için 4, decode için 64 SM100 GPU üzerinde yapıldığını belirtiyor. Proje teşekkür bölümünde DeepInfer’ın başlangıçta büyük ölçüde vLLM üzerine kurulduğu, SGLang ve TensorRT-LLM’den de ilham alındığı yazıyor.

Neler açılmadı?

Şirket, tam bir çıkarım hizmeti için gereken bazı parçaların bu sürümde olmadığını açıkça söylüyor: KV önbellek sistemi, vision encoder / prefill / decode ayrıştırması (gerekli motor işlevlerinin çoğu hazır olsa da) ve veri paralel replikalar arasında yük dengeleme. ’e göre KV önbellek yönetimi ve yük dengeleme bileşenleri iç altyapıya sıkı bağlı olduğu için henüz tamamen açılmadı; bu bileşenlerin tasarımı ise Zhihu’daki teknik yazıda anlatılıyor.

Yayımlanan dağıtım Soru-Cevap belgesi, sistemin üç hedef etrafında kurulduğunu söylüyor: farklı üreticilerin hızlandırıcılarında çalışmak, prefill için sıradan 8 GPU’lu makineler ve decode için 64–128 GPU’lu süper düğümler kullanmak ve KV önbelleği 72 saatten uzun süre tutmak. Belgeye göre en küçük verimli dağıtım birimi 64 GPU prefill artı 64 GPU decode.

deepseek-recipe de yayında

DeepInfer’la birlikte deepseek-recipe adlı, MIT lisanslı bir Rust kütüphane seti ve Python bağlamaları da açıldı. Bu bileşen Chat Completions, Responses ve Messages formatındaki API isteklerini konuşma yapısına çeviriyor, V4 ve V4.1 için istem ve token ID’lerine dönüştürüyor ve model çıktısını yeniden ilgili yanıt formatına çeviriyor. Kendi başına çıkarım çalıştırmıyor; , işleme mantığının resmi API’siyle hizalı olduğunu ve böylece üçüncü taraf dağıtımların resmi API ile aynı davranışı verebileceğini söylüyor. Şirket, gelecekteki modellerinin çıkarım kodunun da DeepInfer’da açık kaynak olarak yayımlanmaya devam edeceğini belirtiyor.

Kaynak: GitHub: deepseek-ai/DeepInfer · DeepSeek V4.1 Flash çıkarım dağıtımı S&C · GitHub: deepseek-ai/deepseek-recipe

Yapay zekâya sor

Haberi seçtiğiniz asistanda hazır bir soruyla açın

Şu haberi 3 maddede özetle: https://aihaber.org/deepseek-deepinfer-cikarim-cercevesi-acik-kaynak/

Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.

Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Bu haber işinize yaradı mı?

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.

İlgili haberler