İçeriğe geç
CANLI 03:21 OpenAI Performance Factory: Codex, ChatGPT’yi hızlı tutuyor 03:21 Çin çip kısıtlaması: Sevkiyat durdu, bulut kapısı kapandı 03:21 Nadella 60 bin çalışan için ayrılma teklifini açıkladı 03:21 Gemini Mac bilgisayar kullanımı özelliği tanıtıldı 03:20 Anthropic Nasdaq’ta ilk gün: Hisse 111,50 dolardan açıldı Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 20.11.2026
Bülten

arXiv 2611.26617 cs.CV

Bir Öncelik, İki Dinamik: Video Dağıtım Transformatörlerinin Kendi Kendini Denetleyen Gizli Eylem Öğrenimi için Yeniden Kullanılması

Özgün başlık One Prior, Two Dynamics: Repurposing Video Diffusion Transformers for Self-Supervised Latent Action Learning

  • Yuxin Jiang
  • Wenqiang Sun
  • Jiaqi Li
  • Yuchao Gu
  • Lvmin Zhang
  • Ivor Tsang
  • Mike Zheng Shou
ai/muhabir · özet metinden derlendi

Videolar dünyanın nasıl değiştiğini ortaya koyuyor ancak bu değişikliklere neden olan eylemleri nadiren ortaya koyuyor. Gizli eylem öğrenimi, bu tür denetimi görsel geçişlerden kurtarır, ancak çoğu zaman altta yatan dinamikleri büyük ölçüde sıfırdan öğrenir. Önceden eğitilmiş bir video oluşturucunun hem ters hem de ileri dinamikler için önceliği sağlayıp sağlayamayacağını soruyoruz.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Videolar dünyanın nasıl değiştiğini ortaya koyuyor ancak bu değişikliklere neden olan eylemleri nadiren ortaya koyuyor. Gizli eylem öğrenimi, bu tür denetimi görsel geçişlerden kurtarır, ancak çoğu zaman altta yatan dinamikleri büyük ölçüde sıfırdan öğrenir. Önceden eğitilmiş bir video oluşturucunun hem ters hem de ileri dinamikler için önceliği sağlayıp sağlayamayacağını soruyoruz. Basit bir prensibe dayanan O$^{2}$LaF'yi tanıtıyoruz: bir öncelik, iki dinamik. Her iki modeli de aynı önceden eğitilmiş video DiT'den başlatıyoruz ve bunları farklı rollerine uyarlıyoruz: ters dinamikler için öğrenilebilir eylem sorgularına sahip bir ileri beslemeli geçiş kodlayıcı ve ileri dinamikler için nedensel, eylem koşullu bir video oluşturucu. O$^{2}$LaF, bilgi erişimini kontrol ederek ve her iki dinamiği de kompakt bir darboğaz yoluyla uçtan uca optimize ederek, etiketlenmemiş videolardan aktarılabilir eylemleri öğrenir. O$^{2}$LaF, navigasyon ve robotik manipülasyon genelinde, birkaç atışlı eylem incelemesinde yeni bir teknoloji düzeyi belirliyor ve görsel bağlamlar ve düzenlemeler arasında daha güçlü sıfır atışlı eylem aktarımına olanak tanıyor. Üretken video önceliklerinin ötesinde, çerçevemizi V-JEPA2 gibi tahmine dayalı temsil önceliklerini de kapsayacak şekilde genişleterek rekabetçi bir performans elde ediyoruz. Bulgularımız gizli eylem öğrenimi için daha geniş bir paradigma öneriyor: aktarılabilir eylemleri keşfetmek ve sonuçlarını tahmin etmek için önceden eğitilmiş video modellerini yeniden kullanmak.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Videos reveal how the world changes, but rarely the actions that cause those changes. Latent action learning recovers such supervision from visual transitions, yet often learns the underlying dynamics largely from scratch. We ask whether a pretrained video generator can instead provide the prior for both inverse and forward dynamics. We introduce O$^{2}$LaF, built on a simple principle: one prior, two dynamics. We initialize both models from the same pretrained video DiT and adapt them to their distinct roles: a feed-forward transition encoder with learnable action queries for inverse dynamics, and a causal, action-conditioned video generator for forward dynamics. By controlling information access and optimizing both dynamics end-to-end through a compact bottleneck, O$^{2}$LaF learns transferable actions from unlabeled videos. Across navigation and robotic manipulation, O$^{2}$LaF sets a new state of the art in few-shot action probing and enables stronger zero-shot action transfer across visual contexts and embodiments. Beyond generative video priors, we further extend our framework to predictive representation priors such as V-JEPA2, achieving competitive performance. Our findings suggest a broader paradigm for latent-action learning: repurposing pretrained video models to discover transferable actions and predict their consequences.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{jiang2026one,
  title   = {One Prior, Two Dynamics: Repurposing Video Diffusion Transformers for Self-Supervised Latent Action Learning},
  author  = {Yuxin Jiang and Wenqiang Sun and Jiaqi Li and Yuchao Gu and Lvmin Zhang and Ivor Tsang and Mike Zheng Shou},
  journal = {arXiv preprint arXiv:2611.26617},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.26617}
}
APA
Jiang, Y., Sun, W., Li, J., Gu, Y., Zhang, L., Tsang, I., & Shou, M. Z. (2026). Bir Öncelik, İki Dinamik: Video Dağıtım Transformatörlerinin Kendi Kendini Denetleyen Gizli Eylem Öğrenimi için Yeniden Kullanılması. arXiv. https://arxiv.org/abs/2611.26617
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.