LLM çıkarımı için sabit bir gönderme oranı, hizmet veren filolar yeniden boyutlandırıldıkça ve istek boyutları değiştikçe eski hale gelir. Giriş sırasında üretken çıktı uzunluğu bilinmiyor ve paylaşılan sağlayıcı havuzları kapasite kaybedebiliyor. Sağlayıcı kapasitesi ve dahili GPU'lar arasında eşzamansız çıkarım için bir tasarım olan Cap-and-Track'i sunuyoruz.
- LLM çıkarımı için sabit bir gönderme oranı, hizmet veren filolar yeniden boyutlandırıldıkça ve istek boyutları değiştikçe eski hale gelir.
- Giriş sırasında üretken çıktı uzunluğu bilinmiyor ve paylaşılan sağlayıcı havuzları kapasite kaybedebiliyor.
- Sağlayıcı kapasitesi ve dahili GPU'lar arasında eşzamansız çıkarım için bir tasarım olan Cap-and-Track'i sunuyoruz.
LLM çıkarımı için sabit bir gönderme oranı, hizmet veren filolar yeniden boyutlandırıldıkça ve istek boyutları değiştikçe eski hale gelir.
02 Özet
LLM çıkarımı için sabit bir gönderme oranı, hizmet veren filolar yeniden boyutlandırıldıkça ve istek boyutları değiştikçe eski hale gelir. Giriş sırasında üretken çıktı uzunluğu bilinmiyor ve paylaşılan sağlayıcı havuzları kapasite kaybedebiliyor. Sağlayıcı kapasitesi ve dahili GPU'lar arasında eşzamansız çıkarım için bir tasarım olan Cap-and-Track'i sunuyoruz. Meta'nın trafik şekillendiricisi, post ve canlı videoların anlaşılması için Cap-and-Track'i uygular. Reddedilenler, arka ucun mevcut kabul tavanının sinyalini verir. Dayanıklı öncelik kuyrukları, reddedilen yeniden deneme istekleri de dahil olmak üzere fazla çalışmayı yürütme dışında tutar. Cap, uzun bir beklemeden önce çalışmayı reddeden, doymuş kaynakta hızlı bir giriş kontrolüdür. Track sevkıyatı yalnızca bu retleri kullanarak yukarıya doğru araştırma yapar ve geri çekilir. Çıkış uzunluğu tahmini veya filo düzeyinde yeniden ayarlama oranı olmaksızın tavanı takip eder. Eş zamanlı aynı trafikli üretim A/B'de şekillendirici, her kopya için Cap plus Track çalıştırdı. Sıradaki sabit oranlı öncüsüne göre %43 daha az H100'de bir sınıflandırıcıya hizmet etti, ancak daha düşük öncelikli işler dolgu zirvelerinde daha uzun süre bekledi. Sabit kapasiteli gerçek motor tekrarında Track, ölçülen kapasitenin üzerinde ayarlanmış sabit bir oranın iyi çıkışının %1'i dahilinde çalıştı ve bu oranın reddetme payının yaklaşık dörtte biri ile. Şekillendirici, günde 300 milyondan fazla çevrimiçi isteği ve yüzlerce terabaytlık medyayı taşıyor. Doldurma sırasında en yoğun 24 saatte 1,1 milyar talebi ele aldı. Dersler arasında kuyrukların çıkarım motorları içinde partileri doldurmaya yetecek kadar tutulması, sevkıyatın yalnızca kapasite retlerine göre yönlendirilmesi, sevkıyatın durum bilgisinin korunması ve düşük öncelikli işlerin ne kadar süre bekleyebileceğine göre filoların boyutlandırılması yer alır.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
A fixed dispatch rate for LLM inference becomes stale as serving fleets resize and request sizes change. Generative output length is unknown at admission, and shared provider pools can lose capacity. We present Cap-and-Track, a design for asynchronous inference across provider capacity and internal GPUs. Meta's traffic shaper implements Cap-and-Track for post and live-video understanding. Refusals signal the backend's current admission ceiling. Durable priority queues hold excess work outside execution, including refused requests for retry. Cap is a fail-fast admission check at the saturated resource that refuses work before a long wait. Using only those refusals, the Track dispatcher probes upward and backs off. It follows the ceiling without output-length prediction or a fleet-level rate to retune. In a concurrent same-traffic production A/B, the shaper ran per-replica Cap plus Track. It served a classifier on 43% fewer H100s than its queued, fixed-rate precursor, though lower-priority work waited longer at backfill peaks. In steady-capacity real-engine replay, Track ran within 1% of the goodput of a fixed rate tuned above measured capacity, with about a quarter of that rate's refusal share. The shaper carries more than 300 million online requests and hundreds of terabytes of media a day. During a backfill, it handled 1.1 billion requests in its busiest 24 hours. Lessons include keeping queues inside inference engines just long enough to fill batches, steering dispatch by capacity refusals alone, keeping dispatch stateful, and sizing fleets by how long low-priority work can wait.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{novotny2026capandtrack,
title = {Cap-and-Track: Optimizing LLM Inference Request Dispatch Across Shifting Capacity},
author = {Benjamin Novotny and Doug Szeto and Chang Wang and Shicheng Chen and George Zhihua Yuan and Bob Kamma and Michael Ge and John Xin Zhou and Andrea Olgiati},
journal = {arXiv preprint arXiv:2611.24891},
year = {2026},
url = {https://arxiv.org/abs/2611.24891}
}
Novotny, B., Szeto, D., Wang, C., Chen, S., Yuan, G. Z., Kamma, B., Ge, M., Zhou, J. X., & Olgiati, A. (2026). Cap-and-Track: Değişen Kapasitede LLM Çıkarım İsteği Dağıtımını Optimize Etme. arXiv. https://arxiv.org/abs/2611.24891
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın