PolicyIK: Takviyeli Öğrenmeyle Robot Kolları için Yüksek Hassasiyetli Ters Kinematik

Özetle: Ters kinematik (IK), uç efektör poz komutlarını ortak harekete dönüştürür ve birçok görüş-dil-eylem (VLA) politikası, belirli bir kol üzerinde hareket etmek ve düzenlemeler arasında aktarım yapmak için buna dayanır.

Özet

Ters kinematik (IK), uç efektör poz komutlarını ortak harekete dönüştürür ve birçok görüş-dil-eylem (VLA) politikası, belirli bir kol üzerinde hareket etmek ve düzenlemeler arasında aktarım yapmak için buna dayanır. Hassas IK zahmetli olmaya devam ediyor: artıklık ve tekillikler ters eşlemeyi karmaşık hale getiriyor, uygulama elle ayarlanan denetleyicilere bağlı ve fiziksel robotlara ilişkin eğitim verilerinin toplanması maliyetli. Yüksek hassasiyetli IK için hedef koşullu takviyeli öğrenme politikası olan PolicyIK'i sunuyoruz. Poz geri bildiriminden eklem konumu referanslarını günceller ve ölçülen eklemlere göre birikmiş referansını gözlemler, böylece konum kontrol cihazının dinlenme sırasında ihtiyaç duyduğu ofseti koruyabilir. Hataya bağlı eylem kazanımına sahip iki ölçekli poz hataları, büyük hareketleri korurken milimetrik artıkları çözer. İlerleme ve kalıcılık ödülleri ona hem toleransa ulaşmayı hem de bu toleransın içinde kalmayı öğretir. Simülasyonda, eğitimli PPO politikasının tek bir girişimi, ertelenen görevlerin %93,5'inde son saniyedeki ortalama hataları 1 mm ve 0,2° içinde tutar ve bir dağıtım protokolü başarıyı %98,9'a yükseltir. PolicyIK, politika dışı bir RL öğrencisiyle doğrudan fiziksel bir kol üzerinde eğitildiğinde, aynı zaman bütçeleri kapsamında dört klasik IK denetleyicisinin tümünden daha yüksek erişim ve tutma başarısı elde eder. Simüle edilmiş seç ve yerleştir modunda PolicyIK, $π_{0.5}$ VLA politikasının son efektör komutlarını %95,7 başarı ile yürütür. Bu sonuçlar, takviyeli öğrenmenin robot kolları için yüksek hassasiyetli ters kinematik sağlayabileceğini göstermektedir. Kod https://github.com/Tinaliu0123/PolicyIK adresinde mevcuttur.

Orijinal Özet (İngilizce)

Inverse kinematics (IK) converts end-effector pose commands into joint motion, and many vision-language-action (VLA) policies rely on it to act on a given arm and to transfer across embodiments. Precise IK remains laborious: redundancy and singularities complicate the inverse mapping, execution depends on hand-tuned controllers, and training data on physical robots are costly to collect. We present PolicyIK, a goal-conditioned reinforcement learning policy for high-precision IK. It updates joint-position references from pose feedback and observes its accumulated reference relative to the measured joints, so it can retain the offset that the position controller needs at rest. Two-scale pose errors with an error-dependent action gain resolve millimeter residuals while preserving large motions. Progress and dwell rewards teach it to both reach the tolerance and stay within it. In simulation, a single attempt by the trained PPO policy keeps the mean errors over the final second within 1 mm and 0.2° on 93.5% of held-out tasks, and a deployment protocol raises success to 98.9%. When trained directly on a physical arm with an off-policy RL learner, PolicyIK achieves higher reaching and holding success than all four classical IK controllers under the same time budgets. In simulated pick-and-place, PolicyIK executes the end-effector commands of the $π_{0.5}$ VLA policy with 95.7% success. These results show that reinforcement learning can provide high-precision inverse kinematics for robot arms. Code is available at https://github.com/Tinaliu0123/PolicyIK.

Kaynak: arXiv:2611.05372 · PDF