GUILD: Taklit Öğrenme için Rehberli Yinelemeli Veri Toplama

Özetle: Robotikteki taklit öğrenme politikaları, maliyetli gerçek dünya teleoperasyonu yoluyla toplanan veri kümeleri üzerinde eğitilir.

Özet

Robotikteki taklit öğrenme politikaları, maliyetli gerçek dünya teleoperasyonu yoluyla toplanan veri kümeleri üzerinde eğitilir. Çoğu zaman, veri toplama süreci yönlendirilmez, teleoperatörün sezgisine dayanır ve sonuçta genel politika performansına çok az katkıda bulunan veriler ortaya çıkar. Son çalışmalar, bu tür rehbersiz veri kümelerinin düzenlenmesinin politika performansını önemli ölçüde artırabileceğini göstermiştir, ancak bu yaklaşımlar, mevcut veri kümelerinin toplandıktan sonra filtrelenmesiyle çalışır ve bu nedenle bilgilendirici olmayan verilerin elde edilmesini engellemez. Bu çalışmada, alt politika performansını en üst düzeye çıkarmak için hangi verilerin toplanması gerektiği konusunda aktif olarak akıl yürüten yeni bir Kılavuzlu Veri Toplama (GDC) yöntemi olan GUILD'i öneriyoruz. Döngüyü kapatmak için 1) görev teklifi ve veri toplama ve 2) veri değerlendirmesi arasında geçiş yapan yinelemeli bir çerçeve sunuyoruz. Görev teklifi için, ilgili ortamları, nesne yapılandırmalarını ve veri toplama hedeflerini belirlemek amacıyla vizyon dili modellerinden anlamsal önceliklerden yararlanırız. Ancak anlamsal uygunluk politika iyileştirme anlamına gelmediğinden veri değerlendirmesi yapıyoruz. Tahmine dayalı veri ilişkilendirmesinden yararlanarak, toplanan yörüngelerin hedef dağıtım ayarında politika performansını nasıl etkilediğini tahmin ediyoruz. Bu sinyal daha sonra veri toplama döngüsünü kapatarak sonraki veri toplamaya rehberlik etmek için geri bildirim olarak kullanılır. Simülasyon ve gerçek robot ortamlarındaki yaklaşımımızı değerlendiriyoruz ve rehberli veri toplamanın, pasif veri toplama stratejileri, çoklu temeller ve deneyimli robot uzmanlarıyla karşılaştırıldığında örnek verimliliğini ve dağıtım performansını önemli ölçüde artırdığını gösteriyoruz. Daha fazla bilgi için https://robin-lab.cs.utexas.edu/guild2026/

Orijinal Özet (İngilizce)

Imitation learning policies in robotics are trained on datasets collected through costly real-world teleoperation. Often, the data-collection process is unguided, relying on the teleoperator's intuition, resulting in data that contributes little to overall policy performance. Recent work has shown that curating such unguided datasets can substantially improve policy performance, but these approaches operate by filtering existing datasets after collection and therefore do not prevent the acquisition of uninformative data. In this work, we propose GUILD, a novel Guided Data Collection (GDC) method that actively reasons about which data should be collected to maximize downstream policy performance. We introduce an iterative framework that alternates between 1) task proposal and data collection and 2) data evaluation to close the loop. For task proposal, we leverage semantic priors from vision-language models to identify relevant environments, object configurations, and goals for data collection. However, since semantic relevance does not imply policy improvement, we perform data evaluation. By leveraging predictive data attribution we approximate how the collected trajectories influence policy performance on a target deployment setting. This signal is then used as feedback to guide subsequent data collection, closing the data collection loop. We evaluate our approach in simulation and real robot settings, demonstrating that guided data collection substantially improves sample efficiency and deployment performance compared to passive data collection strategies, multiple baselines and experienced roboticists. More information at https://robin-lab.cs.utexas.edu/guild2026/

Kaynak: arXiv:2611.05368 · PDF