Görme-dil-eylem (VLA) ile üretken gizli dünya modellemeyi birleştiren birleşik bir robot temel modeli olan $Z$-sight'ı tanıtıyoruz. Video tabanlı dünya eylem modelleri (WAM'ler), kontrol için ortak gelecek ve eylem oluşturmanın değerini gösterir, ancak video oluşturucuların ağır maliyetini de devralır. Güncel gizli alan politikaları piksel oluşumunu önler, ancak tipik olarak ara özellikleri hizalar veya donmuş hedef kodlayıcılara güvenerek gelecek tahminini VLM'nin yerel özellik alanından ayırır. $Z$-sight bunun yerine, VLM'nin şimdiki zamanı algıladığı görsel belirteç alanında doğrudan geleceği tahmin ediyor.
- Görme-dil-eylem (VLA) ile üretken gizli dünya modellemeyi birleştiren birleşik bir robot temel modeli olan $Z$-sight'ı tanıtıyoruz.
- Video tabanlı dünya eylem modelleri (WAM'ler), kontrol için ortak gelecek ve eylem oluşturmanın değerini gösterir, ancak video oluşturucuların ağır maliyetini de devralır.
- Güncel gizli alan politikaları piksel oluşumunu önler, ancak tipik olarak ara özellikleri hizalar veya donmuş hedef kodlayıcılara güvenerek gelecek tahminini VLM'nin yerel özellik alanından ayırır. $Z$-sight bunun yerine, VLM'nin şimdiki zamanı algıladığı görsel belirteç alanında doğrudan geleceği tahmin ediyor.
Görme-dil-eylem (VLA) ile üretken gizli dünya modellemeyi birleştiren birleşik bir robot temel modeli olan $Z$-sight'ı tanıtıyoruz.
02 Özet
Görme-dil-eylem (VLA) ile üretken gizli dünya modellemeyi birleştiren birleşik bir robot temel modeli olan $Z$-sight'ı tanıtıyoruz. Video tabanlı dünya eylem modelleri (WAM'ler), kontrol için ortak gelecek ve eylem oluşturmanın değerini gösterir, ancak video oluşturucuların ağır maliyetini de devralır. Güncel gizli alan politikaları piksel oluşumunu önler, ancak tipik olarak ara özellikleri hizalar veya donmuş hedef kodlayıcılara güvenerek gelecek tahminini VLM'nin yerel özellik alanından ayırır. $Z$-sight bunun yerine, VLM'nin şimdiki zamanı algıladığı görsel belirteç alanında doğrudan geleceği tahmin ediyor. Bir öngörü uzmanını ve bir sürekli eylem uzmanını bir transformatör karışımında VLM ile birleştiren $Z$-sight, piksel yeniden yapılandırması veya harici kodlayıcılar olmadan gelecekteki uzamsal belirteçleri ve çıkarımdaki eylemleri ortaklaşa ortadan kaldırır. İnsan videosu ve robot yörüngeleri konusunda eğitimli olan $Z$-sight, SIMPLE'da %81,9 (en güçlü taban çizgisine göre +9,6 puan) ve parça başına 110 ms'de altı Unitree G1 görevinde (+20,0 puan) %73,3 başarı elde ederken, masa üstü kıyaslamalarda rekabetçiliğini koruyor.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
We introduce $Z$-sight, a unified robot foundation model that couples vision-language-action (VLA) and generative latent world modeling. Video-based world action models (WAMs) show the value of joint future-and-action generation for control, yet inherit the heavy cost of video generators. Recent latent-space policies avoid pixel generation, yet typically align intermediate features or rely on frozen target encoders, decoupling future prediction from the VLM's native feature space. $Z$-sight instead predicts the future directly in the visual token space in which its VLM perceives the present. Coupling a foresight expert and a continuous action expert with the VLM in a mixture-of-transformers, $Z$-sight jointly denoises future spatial tokens and actions at inference without pixel reconstruction or external encoders. Trained on human video and robot trajectories, $Z$-sight achieves 81.9% success on SIMPLE (+9.6 points over the strongest baseline) and 73.3% across six Unitree G1 tasks (+20.0 points) at 110 ms per chunk, while remaining competitive on tabletop benchmarks.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{ye2026zsight,
title = {$Z$-sight: Unifying Vision-Language-Action and Latent World Modeling},
author = {Junjie Ye and Yiqi Zhao and Muchen Xu and Celina Shiyu Wang and Hao Dong and Ruohai Ge and Rong Xue and Benjamin J Kolligs and Aditya Dutt and Sasanka Nagavalli and Nassim A. Samad and Gaurav S. Sukhatme and Jyotirmoy V. Deshmukh and Yue Wang and Yuliang Guo},
journal = {arXiv preprint arXiv:2611.24940},
year = {2026},
url = {https://arxiv.org/abs/2611.24940}
}
Ye, J., Zhao, Y., Xu, M., Wang, C. S., Dong, H., Ge, R., Xue, R., Kolligs, B. J., Dutt, A., Nagavalli, S., Samad, N. A., Sukhatme, G. S., Deshmukh, J. V., Wang, Y., & Guo, Y. (2026). $Z$-sight: Vizyon-Dil-Eylem ve Gizli Dünya Modellemesinin Birleştirilmesi. arXiv. https://arxiv.org/abs/2611.24940
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın