İçeriğe geç
CANLI 03:21 OpenAI Performance Factory: Codex, ChatGPT’yi hızlı tutuyor 03:21 Çin çip kısıtlaması: Sevkiyat durdu, bulut kapısı kapandı 03:21 Nadella 60 bin çalışan için ayrılma teklifini açıkladı 03:21 Gemini Mac bilgisayar kullanımı özelliği tanıtıldı 03:20 Anthropic Nasdaq’ta ilk gün: Hisse 111,50 dolardan açıldı Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 20.11.2026
Bülten

arXiv 2611.26619 cs.DC

TideCache: Şeffaf Önbellek Yönetimi ve Katman Bazında Akış ile Verimli Hibrit LLM Hizmeti

Özgün başlık TideCache: Efficient Hybrid LLM Serving with Transparent Cache Management and Layer-Wise Streaming

  • Jinbin Luo
  • Xiaozhe Yao
  • Shang Yang
  • Zhijian Liu
  • Song Han
  • Qinghao Hu
ai/muhabir · özet metinden derlendi

Hibrit mimariler, açık ağırlıklı dil modelleri arasında ana akım haline geldi. Küresel dikkat ve sınırlı durum katmanları, talepleri bağlam uzunluğu ve eşzamanlılığa göre değişen heterojen önbellekleri korur. GPU belleğini önbellekler arasında tahsis etmek ve bunların GPU ve ana bilgisayar belleğindeki yerleşimini yönetmek için üç bileşene sahip, CPU-GPU süper çipleri üzerinde bir hizmet sistemi olan TideCache'i sunuyoruz.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Hibrit mimariler, açık ağırlıklı dil modelleri arasında ana akım haline geldi. Küresel dikkat ve sınırlı durum katmanları, talepleri bağlam uzunluğu ve eşzamanlılığa göre değişen heterojen önbellekleri korur. GPU belleğini önbellekler arasında tahsis etmek ve bunların GPU ve ana bilgisayar belleğindeki yerleşimini yönetmek için üç bileşene sahip, CPU-GPU süper çipleri üzerinde bir hizmet sistemi olan TideCache'i sunuyoruz. Şeffaf Önbellek Havuzu, fiziksel sayfaları sabit sanal adreslerin arkasındaki önbellek bileşenleri arasında yeniden dağıtarak önbellek düzenlerini ve arka uç arayüzlerini korur. Önbellek Akışı, bir sonraki küresel dikkat katmanının ön ekini küresel dikkat katmanları arasında paylaşılan GPU yuvalarına önceden getirmek için sınırlı durum katmanları tarafından sağlanan hesaplama aralıklarını kullanır, böylece katman bazında aktarımlar hesaplamayla örtüşürken GPU yerleşimini azaltır. Oluşturulan KV yerleşik kalır. İstek Zamanlayıcı, yerleşik veya akışlı yürütmeyi seçer ve istek boyutuna ve kuyruk durumuna göre kapasite ayarlamalarını tetikler. Birlikte, akış yoluyla yayımlanan HBM'nin diğer önbellek bileşenlerini ve ek istekleri karşılamasını sağlarlar. SGLang'da uygulanan ve yedi model/platform konfigürasyonunda GB300 ve GH200 üzerinde değerlendirilen TideCache, HiCache özellikli SGLang'a kıyasla 2,04 kata kadar daha fazla aracı dönüşü tamamlar, token başına genel P50 gecikmesini %20-59 oranında azaltır ve aracı P50 TTFT'sini 1,40-3,05 kat artırır.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Hybrid architectures have become mainstream among open-weight language models. Their global-attention and bounded-state layers maintain heterogeneous caches whose demands vary with context length and concurrency. We present TideCache, a serving system on CPU--GPU superchips with three components for allocating GPU memory among caches and managing their residency across GPU and host memory. The Transparent Cache Pool redistributes physical pages among cache components behind fixed virtual addresses, preserving cache layouts and backend interfaces. The Cache Streamer uses computation intervals provided by bounded-state layers to prefetch the next global-attention layer's prefix into GPU slots shared across global-attention layers, reducing GPU residency while overlapping layer-wise transfers with computation. Generated KV remains resident. The Request Scheduler selects resident or streamed execution and triggers capacity adjustments according to request size and queue state. Together, they let HBM released by streaming accommodate other cache components and additional requests. Implemented in SGLang and evaluated on GB300 and GH200 across seven model/platform configurations, TideCache completes up to 2.04x as many agent turns, reduces overall P50 per-token latency by 20--59%, and improves agent P50 TTFT by 1.40--3.05x compared with SGLang with HiCache.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{luo2026tidecache,
  title   = {TideCache: Efficient Hybrid LLM Serving with Transparent Cache Management and Layer-Wise Streaming},
  author  = {Jinbin Luo and Xiaozhe Yao and Shang Yang and Zhijian Liu and Song Han and Qinghao Hu},
  journal = {arXiv preprint arXiv:2611.26619},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.26619}
}
APA
Luo, J., Yao, X., Yang, S., Liu, Z., Han, S., & Hu, Q. (2026). TideCache: Şeffaf Önbellek Yönetimi ve Katman Bazında Akış ile Verimli Hibrit LLM Hizmeti. arXiv. https://arxiv.org/abs/2611.26619
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.