DreamX: Video Difüzyon Modeli Evrensel Gizli Eylem Öğrenicisidir

Özetle: Videodan evrensel bir eylem gösteriminin öğrenilmesi, aynı eylemin farklı uygulamaları arasında tutarlı olan ancak düzenleme ve görünümdeki değişikliklerden etkilenmeyen modelleme dinamikleri gerektirir.

Özet

Videodan evrensel bir eylem gösteriminin öğrenilmesi, aynı eylemin farklı uygulamaları arasında tutarlı olan ancak düzenleme ve görünümdeki değişikliklerden etkilenmeyen modelleme dinamikleri gerektirir. Mevcut gizli eylem modelleri, eylemleri görsel geçişlerden çıkarır, ancak bunların temsilleri genellikle altta yatan eylemi alakasız görsel varyasyonlarla karıştırır ve düzenlemeler arasındaki aktarımı sınırlandırır. Önceden eğitilmiş bir video dağıtım modelini evrensel bir gizli eylem öğrenicisi olarak yeniden kullanan DreamX'i tanıtıyoruz. Yaklaşımımız, her bir gizli video karesini $boldsymbol{300times}$ ($boldsymbol{1{,}200 rightarrow 4}$ belirteci) kadar sıkıştırarak, video modelinin zengin uzay-zamansal özelliklerinden kompakt gizli eylemleri çıkarır. Ek olarak, video modelinin üretken önceliğinden yararlanılarak bu gizli eylemler, görsel görünümden bağımsız olarak eylemle ilgili dinamikleri yakalar. Ortaya çıkan gizli alan, düzenlemeler (insan ve robot), ortamlar ve eylem parametrelendirmeleri arasında paylaşılan bir eylem arayüzü görevi görür. DreamX, LARY-Bench'te gizli eylem modelleri arasında en gelişmiş performansı elde ediyor. Üstelik, bir ortamda kodlanan eylemler diğerinde de etkili olmaya devam ediyor: Gizli alan, çeşitli düzenlemeler ve ortamlar arasında herhangi birinden diğerine video aktarımını ve sıfır çekimli eylem aktarımını destekler. Ayrıca, bu paylaşılan arayüz aynı zamanda kompakt bir gizli eylem alanında politika öğrenimine olanak tanıyarak video yayılımına dayalı politikaların hesaplama maliyetini azaltır.

Orijinal Özet (İngilizce)

Learning a universal action representation from video requires modeling dynamics that are consistent across different executions of the same action yet invariant to changes in embodiment and appearance. Existing latent action models infer actions from visual transitions, but their representations often entangle the underlying action with irrelevant visual variations, limiting transfer across embodiments. We introduce DreamX, which repurposes a pretrained video diffusion model as a universal latent action learner. Our approach extracts compact latent actions from the video model's rich spatiotemporal features, compressing each latent video frame by $boldsymbol{300times}$ ($boldsymbol{1{,}200 rightarrow 4}$ tokens). In addition, by leveraging the video model's generative prior, these latent actions capture action-relevant dynamics disentangled from visual appearance. The resulting latent space serves as a shared action interface across embodiments (human and robot), environments, and action parameterizations. On LARY-Bench, DreamX achieves state-of-the-art performance among latent action models. Moreover, actions encoded in one setting remain effective in another: the latent space supports any-to-any video transfer and zero-shot action transfer across diverse embodiments and environments. Furthermore, this shared interface also enables policy learning in a compact latent action space, reducing the computational cost of video-diffusion-based policies.

Kaynak: arXiv:2611.05377 · PDF