Görsel erişilebilirlik aracıları ve robot bilimi gibi uygulamalar, son video içeriği hakkındaki soruların, geçmiş karelerden oluşan sınırlı bir pencere (örneğin, son iki dakika) üzerinden anında yanıtlanmasını gerektirir. Dikkatleri Geçitli DeltaNet (GDN) gibi doğrusal yinelenen katmanlarla birleştiren hibrit görüş dili modelleri (VLM'ler) bu ayar için çekicidir, ancak kayan pencereyi korumak pahalıdır. Bunun nedeni, yinelenen katmanların tüm geçmiş kareleri paylaşılan bir durumda birleştirmesidir; bu nedenle eski karelerin süresinin dolması normalde tüm pencerenin model boyunca yeniden çalıştırılmasını gerektirir.
- Görsel erişilebilirlik aracıları ve robot bilimi gibi uygulamalar, son video içeriği hakkındaki soruların, geçmiş karelerden oluşan sınırlı bir pencere (örneğin, son iki dakika) üzerinden anında yanıtlanmasını gerektirir.
- Dikkatleri Geçitli DeltaNet (GDN) gibi doğrusal yinelenen katmanlarla birleştiren hibrit görüş dili modelleri (VLM'ler) bu ayar için çekicidir, ancak kayan pencereyi korumak pahalıdır.
- Bunun nedeni, yinelenen katmanların tüm geçmiş kareleri paylaşılan bir durumda birleştirmesidir; bu nedenle eski karelerin süresinin dolması normalde tüm pencerenin model boyunca yeniden çalıştırılmasını gerektirir.
Görsel erişilebilirlik aracıları ve robot bilimi gibi uygulamalar, son video içeriği hakkındaki soruların, geçmiş karelerden oluşan sınırlı bir pencere (örneğin, son iki dakika) üzerinden anında yanıtlanmasını gerektirir.
02 Özet
Görsel erişilebilirlik aracıları ve robot bilimi gibi uygulamalar, son video içeriği hakkındaki soruların, geçmiş karelerden oluşan sınırlı bir pencere (örneğin, son iki dakika) üzerinden anında yanıtlanmasını gerektirir. Dikkatleri Geçitli DeltaNet (GDN) gibi doğrusal yinelenen katmanlarla birleştiren hibrit görüş dili modelleri (VLM'ler) bu ayar için çekicidir, ancak kayan pencereyi korumak pahalıdır. Bunun nedeni, yinelenen katmanların tüm geçmiş kareleri paylaşılan bir durumda birleştirmesidir; bu nedenle eski karelerin süresinin dolması normalde tüm pencerenin model boyunca yeniden çalıştırılmasını gerektirir. Tekrarlayan güncellemenin, girdiye bağlı katsayılarla durumda afin olduğunu gözlemliyoruz, böylece her çerçevenin etkisi, ilişkisel olarak oluşan bir dönüşüm olarak yakalanabilir. Çerçeve başına durum dönüşümlerini önbelleğe alan ve bunları pencere ilerledikçe verimli bir şekilde oluşturan, süresi dolmuş kareleri, omurga boyunca kareleri yeniden oynatmadan her yinelenen katmanın durumundan kaldıran, eğitim gerektirmeyen bir çerçeve olan Spool'u sunuyoruz. Kaldırma her katmanda tam olarak gerçekleşir; Dikkate alınan anahtar-değer tahliyesinde olduğu gibi, süresi dolmuş çerçeveler, daha önceki katmanlar tarafından hesaplanan önbelleğe alınmış girdiler aracılığıyla kalan etkiyi koruyabilir. Düşük önbellekleme ve kompozisyon yükü elde etmek için özel bir veri yapısı ve GPU çekirdekleri tasarlıyoruz. Beş açık kaynaklı hibrit VLM ve dört video akıl yürütme kıyaslaması karşısında Spool, 20 model kıyaslama testinin tümünde en düşük p95 ilk jetona kadar geçen süreyi elde ederek bunu, yakın zamandaki iki vLLM taban çizgisinin daha hızlısına göre geometrik ortalama 6,6 kat $ azaltıyor ve doğruluğu ortalama yüzde 2,3 puan artırıyor.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Applications such as visual accessibility agents and robotics require answering questions about recent video content promptly, over a bounded window of past frames (e.g., the last two minutes). Hybrid vision-language models (VLMs), which interleave attention with linear recurrent layers such as Gated DeltaNet (GDN), are attractive for this setting, but maintaining a sliding window is expensive. The reason is that recurrent layers combine all past frames into a shared state, so expiring old frames normally requires re-running the entire window through the model. We observe that the recurrent update is affine in the state with input-dependent coefficients, so the effect of each frame can be captured as a transformation that composes associatively. We present Spool, a training-free framework that caches per-frame state transformations and composes them efficiently as the window advances, removing expired frames from each recurrent layer's state without replaying frames through the backbone. Removal is exact within each layer; as with key-value eviction in attention, expired frames can retain residual influence through the cached inputs computed by earlier layers. We design a dedicated data structure and GPU kernels to achieve low caching and composition overhead. Across five open-source hybrid VLMs and four video reasoning benchmarks, Spool achieves the lowest p95 time-to-first-token in all 20 model-benchmark tests, reducing it by a geometric mean of $6.6times$ over the faster of two recent vLLM baselines, while improving accuracy by 2.3 percentage points on average.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{ning2026spool,
title = {Spool: Low-Latency Streaming Inference for Hybrid Vision-Language Models},
author = {Rui Ning and Om Chabra and Hari Balakrishnan},
journal = {arXiv preprint arXiv:2611.23228},
year = {2026},
url = {https://arxiv.org/abs/2611.23228}
}
Ning, R., Chabra, O., & Balakrishnan, H. (2026). Biriktirme: Hibrit Görüş-Dil Modelleri için Düşük Gecikmeli Akış Çıkarımı. arXiv. https://arxiv.org/abs/2611.23228
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın