Gösterimler, tek aracılı takviyeli öğrenmeyi (RL) hızlandırmanın etkili bir yoludur, ancak bu fikri çok aracılı takviyeli öğrenmeyi (MARL) kapsayacak şekilde genişletmek önemsiz değildir çünkü tek bir kişinin aynı anda birden fazla aracıyı teleoperasyona tabi tutması zor ve çoğu zaman imkansızdır. Round-Robin Davranış Klonlaması (R2BC), tek bir göstericinin aynı anda bir ajanı kontrol etmesine, diğerlerinin ise mevcut politikalarını yürütmesine izin vererek bu sorunu çözer. Ancak ortaya çıkan taklit politikaları gösterilerin kalitesiyle sınırlıdır.
- Gösterimler, tek aracılı takviyeli öğrenmeyi (RL) hızlandırmanın etkili bir yoludur, ancak bu fikri çok aracılı takviyeli öğrenmeyi (MARL) kapsayacak şekilde genişletmek önemsiz değildir çünkü tek bir kişinin aynı anda birden fazla aracıyı teleoperasyona tabi tutması zor ve çoğu zaman imkansızdır.
- Round-Robin Davranış Klonlaması (R2BC), tek bir göstericinin aynı anda bir ajanı kontrol etmesine, diğerlerinin ise mevcut politikalarını yürütmesine izin vererek bu sorunu çözer.
- Ancak ortaya çıkan taklit politikaları gösterilerin kalitesiyle sınırlıdır.
Gösterimler, tek aracılı takviyeli öğrenmeyi (RL) hızlandırmanın etkili bir yoludur, ancak bu fikri çok aracılı takviyeli öğrenmeyi (MARL) kapsayacak şekilde genişletmek önemsiz değildir çünkü tek bir kişinin aynı anda birden fazla aracıyı teleoperasyona tabi tutması zor ve çoğu zaman imkansızdır.
02 Özet
Gösterimler, tek aracılı takviyeli öğrenmeyi (RL) hızlandırmanın etkili bir yoludur, ancak bu fikri çok aracılı takviyeli öğrenmeyi (MARL) kapsayacak şekilde genişletmek önemsiz değildir çünkü tek bir kişinin aynı anda birden fazla aracıyı teleoperasyona tabi tutması zor ve çoğu zaman imkansızdır. Round-Robin Davranış Klonlaması (R2BC), tek bir göstericinin aynı anda bir ajanı kontrol etmesine, diğerlerinin ise mevcut politikalarını yürütmesine izin vererek bu sorunu çözer. Ancak ortaya çıkan taklit politikaları gösterilerin kalitesiyle sınırlıdır. Taklit Önyüklemeli Pekiştirmeli Öğrenmeyi (IBRL) işbirlikçi ekiplere genişleten ve taklit politikalarını eğitmek için R2BC'yi kullanan bir çerçeve olan Taklit Önyüklemeli Çok Aracılı Güçlendirme Öğrenimini (IBMARL) öneriyoruz. Her zaman adımında, her temsilci kendi taklit politikasından bir eylem teklifi ve RL politikasından bir eylem teklifi alır ve merkezi eleştirmenlerden oluşan bir grup, bu ikisinin her temsilciye ait kombinasyonları arasından seçim yapar. Geçitli bir taklit cezası, yumuşak bir Q filtreli davranış klonlama kaybı, her RL politikasını, yalnızca eleştirmenlerin taklit eylemine daha fazla değer verdiği durumlarda kendi taklit politikasına göre düzenler, böylece eğitimden sonra her ajan, merkezi eleştirmenler olmadan kendi RL politikasını tek başına yürütür. IBMARL, dört işbirlikçi çok aracılı RL kıyaslamasında, taklit politikalarını iki görevde gösterime dayalı temel çizgilerden $2,6$-$4,2x$ daha hızlı aşar, diğer ikisinde bunu aşmanın tek yöntemidir ve dörtten ikisinde göstericinin kendisini aşar. IBMARL, gerçek insan gösterileriyle tek başına taklit öğrenmeyi hâlâ geride bırakıyor ve bunu en iyi temelden iki kat daha hızlı yapıyor.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Demonstrations are an effective way to accelerate single-agent reinforcement learning (RL), but extending this idea to multi-agent reinforcement learning (MARL) is non-trivial as it is difficult and often impossible for a single person to teleoperate multiple agents simultaneously. Round-Robin Behavior Cloning (R2BC) addresses this by letting a single demonstrator control one agent at a time while the others execute their current policies. However, the resulting imitation policies are limited by the quality of the demonstrations. We propose Imitation Bootstrapped Multi-Agent Reinforcement Learning (IBMARL), a framework that extends Imitation Bootstrapped Reinforcement Learning (IBRL) to cooperative teams and uses R2BC to train the imitation policies. At each time step, every agent receives one action proposal from its imitation policy and one from its RL policy, and an ensemble of centralized critics selects among the per-agent combinations of the two. A gated imitation penalty, a soft Q-filtered behavior cloning loss, regularizes each RL policy toward its imitation policy only where the critics value the imitation action more, so that after training each agent executes its RL policy alone, without the centralized critics. On four cooperative multi-agent RL benchmarks, IBMARL surpasses its imitation policies $2.6$-$4.2times$ faster than demonstration-based baselines on two tasks, is the only method to surpass it on the other two, and exceeds the demonstrator itself on two of the four. With real human demonstrations IBMARL still surpasses imitation learning alone, and does so more than twice as fast as the best baseline.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{zhang2026imitation,
title = {Imitation Bootstrapped Multi-Agent Reinforcement Learning},
author = {Tony H. Zhang and Connor Mattson and Daniel S. Brown},
journal = {arXiv preprint arXiv:2611.18543},
year = {2026},
url = {https://arxiv.org/abs/2611.18543}
}
Zhang, T. H., Mattson, C., & Brown, D. S. (2026). Taklit Önyüklemeli Çok Aracılı Takviyeli Öğrenme. arXiv. https://arxiv.org/abs/2611.18543
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın