İçeriğe geç
CANLI 19 sa önce Hugging Face, dil modeli çıkarım yönlendirmesini OpenRouter’a geçirdi 19 sa önce FBI, açık kaynaklı AI saldırı aracı Artex’in saatler içinde ağları ele geçirdiğini duyurdu 19 sa önce ABD, Çin şirketlerinin yurt dışından uzaktan AI çip gücüne erişimini sıkılaştırıyor 19 sa önce Kaliforniya başsavcısı, kontrolsüz AI ajanları gerekçesiyle OpenAI’ye dava açtı 19 sa önce Tencent Hy4 flash: 224 milyar parametreli, günlük işler için daha ucuz çok kipli model Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 18.11.2026
Bülten

arXiv 2611.21553 cs.CV

BLIP-Live: Proaktif Video Akış Aracılarında Zamanlılığı ve Tetikleme Hassasiyetini Dengeleme

Özgün başlık BLIP-Live: Balancing Timeliness & Firing Precision in Proactive Streaming Video Agents

  • Kanchana Ranasinghe
  • Honglu Zhou
  • Dominick Reilly
  • Le Xue
  • Shusheng Yang
  • Juan Carlos Niebles
  • Silvio Savarese
  • Ran Xu
ai/muhabir · özet metinden derlendi

Akışlı video anlayışı, gerçek dünyadaki etkileşimli sistemler için giderek daha önemli hale geliyor. Bu tür sistemler, doğal ve yararlı insan etkileşimi için proaktif olmalıdır: Erken, gereksiz veya yanlış yanıtlardan kaçınarak yeterli kanıt elde edilir edilmez yanıt vermelidirler. Verileri, ölçümleri, donanımları ve eğitimi ortak bir proaktivite formülasyonu etrafında birleştiren bir çerçeve olan BLIP-Live'ı, yanıt verme ve sessizlik gibi iki rakip hedefi dengeleyen etkili nedensel yanıt kararları olarak sunuyoruz.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Akışlı video anlayışı, gerçek dünyadaki etkileşimli sistemler için giderek daha önemli hale geliyor. Bu tür sistemler, doğal ve yararlı insan etkileşimi için proaktif olmalıdır: Erken, gereksiz veya yanlış yanıtlardan kaçınarak yeterli kanıt elde edilir edilmez yanıt vermelidirler. Verileri, ölçümleri, donanımları ve eğitimi ortak bir proaktivite formülasyonu etrafında birleştiren bir çerçeve olan BLIP-Live'ı, yanıt verme ve sessizlik gibi iki rakip hedefi dengeleyen etkili nedensel yanıt kararları olarak sunuyoruz. İlk olarak, istenen davranışı tanımlayan, proaktif yanıt içeriği ve zamanlamasına ilişkin insan açıklamalarını içeren BLIP-Live-780K veri kümesini oluşturuyoruz. Daha sonra, istenen proaktif davranışımızı etkili bir şekilde ölçmek için bir ölçüm olan PAUC-F'yi öneriyoruz. PAUC-F, aşırı ateşlemeyi ödüllendirmeden erken faydalı yanıtları ödüllendirmek için mevcut yanıt zamanlılık ölçümlerini ateşleme hassasiyetiyle birleştirir. İstenilen davranışımız tanımlanmış ve ölçülebilir hale geldikten sonra, son olarak, çevrimdışı görüş dili modellerinin (VLM'ler) proaktif akış yeteneklerini ortaya çıkaran modelden bağımsız çıkarım donanımlarını ve proaktif yanıt verme yeteneklerini daha da geliştirmeyi öğrenen eğitim işlem hatlarını araştırıyoruz. Her iki ortamda da kayan görsel pencerelerin, çevrimiçi etkileşim belleğinin ve yapılandırılmış yanıt çıktılarının kombinasyonlarının sürekli olarak en güçlü proaktif performansı sağladığını gördük. Deneylerimiz iki modelle sonuçlandı; BLIP-Live-Qwen modelimiz, dört proaktif akış karşılaştırmasında en son teknolojiye sahip performansa ulaşıyor, taban değerlerine göre %44'e kadar kazanç sağlıyor ve birden fazla kapalı API modelinden daha iyi performans gösteriyor. Kodumuz ve verilerimiz kamuya açıklanacak.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Streaming video understanding is becoming increasingly important for real-world interactive systems. Such systems must be proactive for natural and useful human interaction: they should respond as soon as sufficient evidence becomes available while avoiding premature, redundant, or incorrect responses. We present BLIP-Live, a framework unifying data, metrics, harness, and training around a shared formulation of proactivity as effective causal response decisions balancing the two competing objectives of responding vs silence. First, we construct BLIP-Live-780K dataset containing human annotations of proactive response content and timing, which defines this desired behavior. We then propose PAUC-F, a metric to effectively measure our desired proactive behavior. PAUC-F combines existing response timeliness metrics with firing precision to reward early useful responses without rewarding excessive firing. With our desired behavior defined and measurable, we finally investigate model-agnostic inference harnesses that draw out proactive streaming capabilities of offline vision language models (VLMs), together with training pipelines that learn to further improve their proactive responsiveness. Across both settings, we find that combinations of sliding visual windows, online interaction memory, and structured response outputs consistently yield strongest proactive performance. Our experiments result in two models, with our BLIP-Live-Qwen model achieving state-of-the-art performance across four proactive streaming benchmarks, with gains up to 44% over baselines and outperforming multiple closed API models. Our code and data will be released publicly.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{ranasinghe2026bliplive,
  title   = {BLIP-Live: Balancing Timeliness & Firing Precision in Proactive Streaming Video Agents},
  author  = {Kanchana Ranasinghe and Honglu Zhou and Dominick Reilly and Le Xue and Shusheng Yang and Juan Carlos Niebles and Silvio Savarese and Ran Xu},
  journal = {arXiv preprint arXiv:2611.21553},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.21553}
}
APA
Ranasinghe, K., Zhou, H., Reilly, D., Xue, L., Yang, S., Niebles, J. C., Savarese, S., & Xu, R. (2026). BLIP-Live: Proaktif Video Akış Aracılarında Zamanlılığı ve Tetikleme Hassasiyetini Dengeleme. arXiv. https://arxiv.org/abs/2611.21553
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.