İçeriğe geç
CANLI 03:24 OpenAI raporu: Ajanlar 2-4 saatlik araştırma görevlerinin neredeyse yarısını tek başına bitiriyor 03:24 Google, Genie 4 dünya modelini Project Genie ile Ultra abonelerine açtı 03:23 NGINX’te HTTP/2 kaynaklı iki kritik uzaktan kod çalıştırma açığı: Güncelleme şart 03:23 Nvidia Çin’e H200 satışını durdurdu, yönetim kurulunda ulusal güvenlik komitesi kurdu 03:23 Anthropic halka arz fiyatını 83 dolar olarak belirledi: Hisseler ANT koduyla Nasdaq’ta Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 19.11.2026
Bülten

arXiv 2611.24940 cs.RO

$Z$-sight: Vizyon-Dil-Eylem ve Gizli Dünya Modellemesinin Birleştirilmesi

Özgün başlık $Z$-sight: Unifying Vision-Language-Action and Latent World Modeling

  • Junjie Ye
  • Yiqi Zhao
  • Muchen Xu
  • Celina Shiyu Wang
  • Hao Dong
  • Ruohai Ge
  • Rong Xue
  • Benjamin J Kolligs
  • Aditya Dutt
  • Sasanka Nagavalli
  • Nassim A. Samad
  • Gaurav S. Sukhatme
  • Jyotirmoy V. Deshmukh
  • Yue Wang
  • Yuliang Guo
ai/muhabir · özet metinden derlendi

Görme-dil-eylem (VLA) ile üretken gizli dünya modellemeyi birleştiren birleşik bir robot temel modeli olan $Z$-sight'ı tanıtıyoruz. Video tabanlı dünya eylem modelleri (WAM'ler), kontrol için ortak gelecek ve eylem oluşturmanın değerini gösterir, ancak video oluşturucuların ağır maliyetini de devralır. Güncel gizli alan politikaları piksel oluşumunu önler, ancak tipik olarak ara özellikleri hizalar veya donmuş hedef kodlayıcılara güvenerek gelecek tahminini VLM'nin yerel özellik alanından ayırır. $Z$-sight bunun yerine, VLM'nin şimdiki zamanı algıladığı görsel belirteç alanında doğrudan geleceği tahmin ediyor.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Görme-dil-eylem (VLA) ile üretken gizli dünya modellemeyi birleştiren birleşik bir robot temel modeli olan $Z$-sight'ı tanıtıyoruz. Video tabanlı dünya eylem modelleri (WAM'ler), kontrol için ortak gelecek ve eylem oluşturmanın değerini gösterir, ancak video oluşturucuların ağır maliyetini de devralır. Güncel gizli alan politikaları piksel oluşumunu önler, ancak tipik olarak ara özellikleri hizalar veya donmuş hedef kodlayıcılara güvenerek gelecek tahminini VLM'nin yerel özellik alanından ayırır. $Z$-sight bunun yerine, VLM'nin şimdiki zamanı algıladığı görsel belirteç alanında doğrudan geleceği tahmin ediyor. Bir öngörü uzmanını ve bir sürekli eylem uzmanını bir transformatör karışımında VLM ile birleştiren $Z$-sight, piksel yeniden yapılandırması veya harici kodlayıcılar olmadan gelecekteki uzamsal belirteçleri ve çıkarımdaki eylemleri ortaklaşa ortadan kaldırır. İnsan videosu ve robot yörüngeleri konusunda eğitimli olan $Z$-sight, SIMPLE'da %81,9 (en güçlü taban çizgisine göre +9,6 puan) ve parça başına 110 ms'de altı Unitree G1 görevinde (+20,0 puan) %73,3 başarı elde ederken, masa üstü kıyaslamalarda rekabetçiliğini koruyor.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

We introduce $Z$-sight, a unified robot foundation model that couples vision-language-action (VLA) and generative latent world modeling. Video-based world action models (WAMs) show the value of joint future-and-action generation for control, yet inherit the heavy cost of video generators. Recent latent-space policies avoid pixel generation, yet typically align intermediate features or rely on frozen target encoders, decoupling future prediction from the VLM's native feature space. $Z$-sight instead predicts the future directly in the visual token space in which its VLM perceives the present. Coupling a foresight expert and a continuous action expert with the VLM in a mixture-of-transformers, $Z$-sight jointly denoises future spatial tokens and actions at inference without pixel reconstruction or external encoders. Trained on human video and robot trajectories, $Z$-sight achieves 81.9% success on SIMPLE (+9.6 points over the strongest baseline) and 73.3% across six Unitree G1 tasks (+20.0 points) at 110 ms per chunk, while remaining competitive on tabletop benchmarks.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{ye2026zsight,
  title   = {$Z$-sight: Unifying Vision-Language-Action and Latent World Modeling},
  author  = {Junjie Ye and Yiqi Zhao and Muchen Xu and Celina Shiyu Wang and Hao Dong and Ruohai Ge and Rong Xue and Benjamin J Kolligs and Aditya Dutt and Sasanka Nagavalli and Nassim A. Samad and Gaurav S. Sukhatme and Jyotirmoy V. Deshmukh and Yue Wang and Yuliang Guo},
  journal = {arXiv preprint arXiv:2611.24940},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.24940}
}
APA
Ye, J., Zhao, Y., Xu, M., Wang, C. S., Dong, H., Ge, R., Xue, R., Kolligs, B. J., Dutt, A., Nagavalli, S., Samad, N. A., Sukhatme, G. S., Deshmukh, J. V., Wang, Y., & Guo, Y. (2026). $Z$-sight: Vizyon-Dil-Eylem ve Gizli Dünya Modellemesinin Birleştirilmesi. arXiv. https://arxiv.org/abs/2611.24940
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.