Pixel-UMI: Sensörlü İnsan Gösterilerinden Ortam Farkında Tüm Vücut Manipülasyonunu Öğrenme

Özetle: Sensörlü insan gösterileri, mobil manipülasyon için ölçeklenebilir veriler sunar, ancak düzenleme farklılıkları politika öğrenimini karmaşıklaştırır.

Özet

Sensörlü insan gösterileri, mobil manipülasyon için ölçeklenebilir veriler sunar, ancak düzenleme farklılıkları politika öğrenimini karmaşıklaştırır. İnsan verilerinden çevreye duyarlı tüm vücut politikalarını öğrenmeye yönelik bir boru hattı olan Pixel-UMI'yi sunuyoruz. İlk olarak, robot duruşunu belirlemek ve çarpışmaya duyarlı eklem ve taban hedefleri oluşturmak için yeniden yapılandırılmış sahne geometrisini gösterilen kafa ve tutucu yörüngeleriyle birleştiren Çevreye Duyarlı Yeniden Hedeflemeyi (EAR) tanıtıyoruz. Gecikmeyle kalibre edilmiş eylem ataması, bu yörüngeleri eylemlere dönüştürür. Ancak kinematik farklılıklar, artık poz hataları bırakabilir ve insan gösterileri ile robot gözlemleri arasında bakış açısı uyumsuzlukları yaratabilir. Bu nedenle, dağıtım sırasında uyumsuz görünümlere bağımlılığı azaltmak için eğitim sırasında bu hataları kullanan Yeniden Hedefleme-Hata Farkındalık Maskeleme'yi (REAM) sunuyoruz. Son olarak, tahmini eylemler temas açısından zengin etkileşimleri tam olarak yakalayamadığı için, performansı artırmak için DAgger aracılığıyla politikaya bağlı insan düzeltmelerini topluyoruz. Pixel-UMI'yi mafsallı nesne manipülasyonu, deforme olabilen nesne işleme, kısıtlı alana ulaşma, tüm vücut çarpışmasından kaçınma ve temas açısından zengin çift manuel koordinasyonu kapsayan beş zorlu görevde değerlendirerek %87,0 ortalama görev ilerlemesi elde ettik. Video sonuçlarına https://pixel-robot.com/pixel-umi adresinden ulaşılabilir.

Orijinal Özet (İngilizce)

Sensorized human demonstrations offer scalable data for mobile manipulation, but embodiment differences complicate policy learning. We present Pixel-UMI, a pipeline for learning environment-aware whole-body policies from human data. We first introduce Environment-Aware Retargeting (EAR), which combines reconstructed scene geometry with demonstrated head and gripper trajectories to determine robot posture and generate collision-aware joint and base targets. Delay-calibrated action assignment converts these trajectories into actions. However, kinematic differences can leave residual pose errors, creating viewpoint mismatches between human demonstrations and robot observations. We therefore introduce Retargeting-Error-Aware Masking (REAM), which uses these errors during training to reduce reliance on mismatched views at deployment. Finally, because estimated actions cannot fully capture contact-rich interactions, we collect on-policy human corrections through DAgger to improve performance. We evaluate Pixel-UMI on five challenging tasks spanning articulated-object manipulation, deformable-object handling, constrained-space reaching, whole-body collision avoidance, and contact-rich bimanual coordination, achieving 87.0% average task progress. Video results are available at https://pixel-robot.com/pixel-umi

Kaynak: arXiv:2611.03647 · PDF