GPT-6 Astra gibi sınır multimodal dil aracıları, yüksek seviyeli temel öğeler olmadan düşük seviyeli sayısal eylemler yoluyla robotları doğrudan kontrol etme konusunda güçlü yetenekler sergilemiştir. Ancak mevcut kıyaslamalar yalnızca bölüm düzeyindeki başarı oranlarını rapor ediyor; bu oranlar, bu ajanların nasıl başarılı olduğunu veya nerede başarısız olduklarını göstermiyor. Bu yazıda, 12 manipülasyon kriteri üzerinden doğrudan robot kontrolüne ilişkin sınır ajanlarının sistematik eylem düzeyinde analizini sunuyoruz.
- GPT-6 Astra gibi sınır multimodal dil aracıları, yüksek seviyeli temel öğeler olmadan düşük seviyeli sayısal eylemler yoluyla robotları doğrudan kontrol etme konusunda güçlü yetenekler sergilemiştir.
- Ancak mevcut kıyaslamalar yalnızca bölüm düzeyindeki başarı oranlarını rapor ediyor; bu oranlar, bu ajanların nasıl başarılı olduğunu veya nerede başarısız olduklarını göstermiyor.
- Bu yazıda, 12 manipülasyon kriteri üzerinden doğrudan robot kontrolüne ilişkin sınır ajanlarının sistematik eylem düzeyinde analizini sunuyoruz.
GPT-6 Astra gibi sınır multimodal dil aracıları, yüksek seviyeli temel öğeler olmadan düşük seviyeli sayısal eylemler yoluyla robotları doğrudan kontrol etme konusunda güçlü yetenekler sergilemiştir.
02 Özet
GPT-6 Astra gibi sınır multimodal dil aracıları, yüksek seviyeli temel öğeler olmadan düşük seviyeli sayısal eylemler yoluyla robotları doğrudan kontrol etme konusunda güçlü yetenekler sergilemiştir. Ancak mevcut kıyaslamalar yalnızca bölüm düzeyindeki başarı oranlarını rapor ediyor; bu oranlar, bu ajanların nasıl başarılı olduğunu veya nerede başarısız olduklarını göstermiyor. Bu yazıda, 12 manipülasyon kriteri üzerinden doğrudan robot kontrolüne ilişkin sınır ajanlarının sistematik eylem düzeyinde analizini sunuyoruz. Politika aracısının her eylemin yanında yerel bir niyeti belirttiği ve bir eleştirmenin eylemin sonucunu ve başarısızlık modunu bu niyete göre değerlendirdiği, amaca dayalı bir eleştiri çerçevesi olan AgentRoboCritic'i sunuyoruz. Eylem düzeyindeki analizimiz, yerel yürütme hatalarından kapalı döngü kurtarma, çeşitli sahnelerde güvenilir anlamsal topraklama ve göreve özel uyarlama olmadan güçlü sıfır atış manipülasyonu da dahil olmak üzere, sınır ajanlarının doğrudan robot kontrolünde umut verici yeteneklerini göstermektedir. Ayrıca, kavrama ve hizalama gibi görevle ilgili fiziksel yürütme darboğazları ve hata modları genelinde eşit olmayan kurtarma da dahil olmak üzere mevcut sınırlamalarını da tanımlar. Son olarak, eleştirmenimizi 400 eylemlik, insan açıklamalı bir kıyaslamayla doğruluyor ve 12.844 açıklamalı eylemden oluşan bir veri kümesini, hata modu doğruluğu %32,58'den %74,24'e yükselen, düşük maliyetli eylem düzeyinde analize olanak tanıyan, ince ayarlı açık kaynak eleştirmeni Muse-Glimmer-30B ile birlikte yayınlıyoruz.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Frontier multimodal language agents such as GPT-6 Astra have demonstrated strong capabilities in controlling robots directly via low-level numerical actions without high-level primitives. However, existing benchmarks report only episode-level success rates, which show neither how these agents succeed nor where they fail. In this paper, we present a systematic action-level analysis of frontier agents on direct robot control across 12 manipulation benchmarks. We introduce AgentRoboCritic, an intent-grounded critique framework in which the policy agent states a local intent alongside each action, and a critic evaluates the action's outcome and failure mode against this intent. Our action-level analysis demonstrates the promising capabilities of frontier agents on direct robot control, including closed-loop recovery from local execution failures, reliable semantic grounding across diverse scenes, and strong zero-shot manipulation without task-specific adaptation. It also identifies their current limitations, including task-relevant physical execution bottlenecks such as grasping and alignment, and uneven recovery across failure modes. Finally, we validate our critic on a 400-action human-annotated benchmark and release a dataset of 12,844 annotated actions alongside a fine-tuned open-source critic, Muse-Glimmer-30B, whose failure-mode accuracy rises from 32.58% to 74.24%, enabling low-cost action-level analysis.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{du2026agentrobocritic,
title = {AgentRoboCritic: Understanding the Capability of Frontier Agents on Direct Robot Control},
author = {Yiyang Du and Yuxuan Kuang and Qitao Zhao and Yixuan Wang and Zhanqiu Guo and Yi Xu and Xin Li and Wenbin He and Liu Ren and Chenyan Xiong},
journal = {arXiv preprint arXiv:2611.26613},
year = {2026},
url = {https://arxiv.org/abs/2611.26613}
}
Du, Y., Kuang, Y., Zhao, Q., Wang, Y., Guo, Z., Xu, Y., Li, X., He, W., Ren, L., & Xiong, C. (2026). AgentRoboCritic: Sınır Ajanlarının Doğrudan Robot Kontrolündeki Yeteneğinin Anlaşılması. arXiv. https://arxiv.org/abs/2611.26613
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın