EgoActionBench: Benmerkezci İnsan Videoları için Yoğun Aksiyon Altyazısının Kıyaslanması

Özetle: İnsan verilerinden öğrenmek, somutlaşmış zekaya doğru ölçeklenebilir bir yol sunar, ancak benmerkezci gözlemlerden ince taneli insan eylemlerini doğru bir şekilde anlayacak modellere ihtiyaç duyar.

Özet

İnsan verilerinden öğrenmek, somutlaşmış zekaya doğru ölçeklenebilir bir yol sunar, ancak benmerkezci gözlemlerden ince taneli insan eylemlerini doğru bir şekilde anlayacak modellere ihtiyaç duyar. Bununla birlikte, eylem atomikliği, zamansal kesinlik ve elle eylem ilişkisi açısından mevcut kıyaslamalar sınırlı kalmaktadır. Sol el, sağ el veya her iki el ile ilişkili geçici olarak lokalize atomik eylemler olarak sürekli insan manipülasyonunu temsil eden bir referans noktası olan EgoActionBench'i tanıtıyoruz. EgoActionBench, 41.132 insan tarafından geliştirilmiş eylem ek açıklamasına sahip 1.407 bölüm içerir. Bu tür yoğun tahminleri değerlendirmek için, geçici olarak uygun adayları alan, içerik anlaşmasına göre bir tahmin seçen ve eylem hassasiyeti ve hatırlamanın yanı sıra anlamsal sadakat ve zamansal örtüşmeyi puanlayan, ne olduğunu, ne zaman gerçekleştiğini ve bunu hangi elin gerçekleştirdiğini ortaklaşa yakalayan bir değerlendirme protokolü öneriyoruz. EgoActionBench'te 20 temel model ve sistemi karşılaştırıyoruz ve denetimli ince ayar ve ardından otomatik olarak açıklamalı eğitim bölümleri üzerinde takviyeli öğrenme yoluyla iki omurgayı (Qwen3-VL-4B ve LLaVA-OneVision-2-8B) daha da uyarlıyoruz. EgoAction, EgoActionScore'u iki omurga üzerinde 15,9 ve 23,2 puan artırır ve her iki uyarlanmış model de tüm açık kaynak temellerinden daha iyi performans gösterir. Deneylerimiz, eylem atomikliği, zamansal hassasiyet ve el eylemi ilişkisindeki mevcut modellerin önemli sınırlamalarını ortaya çıkararak, genel video anlayışı ile somutlaşmış zeka için gereken eylem anlayışı arasındaki boşluğu vurguluyor.

Orijinal Özet (İngilizce)

Learning from human data offers a scalable path toward embodied intelligence, yet it requires models to accurately understand fine-grained human actions from egocentric observations. However, existing benchmarks remain limited in action atomicity, temporal precision, and hand-action association. We introduce EgoActionBench, a benchmark that represents continuous human manipulation as temporally localized atomic actions associated with the left hand, right hand, or both hands. EgoActionBench contains 1,407 episodes with 41,132 human-refined action annotations. To evaluate such dense predictions, we propose an evaluation protocol that retrieves temporally eligible candidates, selects a prediction by content agreement, and scores semantic fidelity and temporal overlap alongside action precision and recall, jointly capturing what happens, when it happens, and which hand performs it. We benchmark 20 baseline models and systems on EgoActionBench and further adapt two backbones, Qwen3-VL-4B and LLaVA-OneVision-2-8B, through supervised fine-tuning followed by reinforcement learning on automatically annotated training episodes. EgoAction improves EgoActionScore by 15.9 and 23.2 points on the two backbones, and both adapted models outperform all open-source baselines. Our experiments reveal substantial limitations of current models in action atomicity, temporal precision, and hand-action association, highlighting the gap between general video understanding and the action understanding required for embodied intelligence.

Kaynak: arXiv:2611.03646 · PDF