Kısaca · 3 madde
- 1Çinli yapay zekâ şirketi DeepSeek, kendi büyük ölçekli bulut hizmetlerinde kullandığı çıkarım (inference) çerçevesi DeepInfer'ı açık kaynak olarak yayımladı.
- 2Çerçeve Apache 2.0 lisansıyla sunuluyor.
- 3Yayımlanan dağıtım Soru-Cevap belgesi, sistemin üç hedef etrafında kurulduğunu söylüyor: farklı üreticilerin hızlandırıcılarında çalışmak, p…
Çinli yapay zekâ şirketi , kendi büyük ölçekli bulut hizmetlerinde kullandığı çıkarım (inference) çerçevesi DeepInfer‘ı açık kaynak olarak yayımladı. Şirketin GitHub’daki açıklamasına göre DeepInfer, -V4.1-Flash’ın yüksek verimli ve düşük gecikmeli servisinin arkasındaki sistem. , tek bir kümenin şu anda günde 155 trilyon token işlediğini ve gece/düşük talep fiyatlandırmasıyla GPU saati başına toplam gelirin 38 dolar olduğunu belirtiyor.
Çerçeve Apache 2.0 lisansıyla sunuluyor. Bu ilk sürüm, ölçekli servis için gereken çekirdek özelliklerle çevrimdışı (offline) çıkarım sağlıyor ve şimdilik yalnızca -V4.1-Flash modelini destekliyor. Varsayılan model kontrol noktası -V4.1-Flash-1017.
DeepInfer neler sunuyor?
- Optimize çekirdekler: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect ve özel TileLang çekirdekleri.
- Paralellik: Attention tarafında veri paralelliği / dengeli bağlam paralelliği, MoE tarafında uzman paralelliği (EP) ve EPLB yük dengeleme.
- DSpark ve güven skoruna göre doğrulama: Taslak token’larla kod çözmeyi hızlandırıp doğrulamayı güven tahminine göre zamanlıyor.
- SWA sınırlı yeniden oynatma: Prefill yükünü yalnızca sınırlı bir son eki yeniden işleyerek azaltıyor.
- Asenkron zamanlama, batch’ten bağımsız çıkarım ve deterministik örnekleme: Aynı girdiye aynı çıktıyı üretme seçenekleri (son ikisi yalnızca ’da).
- Yapılandırılmış çıktı: Regex, JSON şeması veya EBNF dilbilgisiyle üretimi kısıtlama.
Donanım tarafında SM100 GPU’lar ve Huawei Ascend 950 NPU’lar destekleniyor. , performans ölçümlerinin prefill için 4, decode için 64 SM100 GPU üzerinde yapıldığını belirtiyor. Proje teşekkür bölümünde DeepInfer’ın başlangıçta büyük ölçüde vLLM üzerine kurulduğu, SGLang ve TensorRT-LLM’den de ilham alındığı yazıyor.
Neler açılmadı?
Şirket, tam bir çıkarım hizmeti için gereken bazı parçaların bu sürümde olmadığını açıkça söylüyor: KV önbellek sistemi, vision encoder / prefill / decode ayrıştırması (gerekli motor işlevlerinin çoğu hazır olsa da) ve veri paralel replikalar arasında yük dengeleme. ’e göre KV önbellek yönetimi ve yük dengeleme bileşenleri iç altyapıya sıkı bağlı olduğu için henüz tamamen açılmadı; bu bileşenlerin tasarımı ise Zhihu’daki teknik yazıda anlatılıyor.
Yayımlanan dağıtım Soru-Cevap belgesi, sistemin üç hedef etrafında kurulduğunu söylüyor: farklı üreticilerin hızlandırıcılarında çalışmak, prefill için sıradan 8 GPU’lu makineler ve decode için 64–128 GPU’lu süper düğümler kullanmak ve KV önbelleği 72 saatten uzun süre tutmak. Belgeye göre en küçük verimli dağıtım birimi 64 GPU prefill artı 64 GPU decode.
deepseek-recipe de yayında
DeepInfer’la birlikte deepseek-recipe adlı, MIT lisanslı bir Rust kütüphane seti ve Python bağlamaları da açıldı. Bu bileşen Chat Completions, Responses ve Messages formatındaki API isteklerini konuşma yapısına çeviriyor, V4 ve V4.1 için istem ve token ID’lerine dönüştürüyor ve model çıktısını yeniden ilgili yanıt formatına çeviriyor. Kendi başına çıkarım çalıştırmıyor; , işleme mantığının resmi API’siyle hizalı olduğunu ve böylece üçüncü taraf dağıtımların resmi API ile aynı davranışı verebileceğini söylüyor. Şirket, gelecekteki modellerinin çıkarım kodunun da DeepInfer’da açık kaynak olarak yayımlanmaya devam edeceğini belirtiyor.
Kaynak: GitHub: deepseek-ai/DeepInfer · DeepSeek V4.1 Flash çıkarım dağıtımı S&C · GitHub: deepseek-ai/deepseek-recipe
Yapay zekâya sor
Haberi seçtiğiniz asistanda hazır bir soruyla açın
Şu haberi 3 maddede özetle: https://aihaber.org/deepseek-deepinfer-cikarim-cercevesi-acik-kaynak/
Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.
Bu haber işinize yaradı mı?
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.

Yorum yazın