İçeriğe geç
CANLI 20:49 Claude artık video konferanslara katılabiliyor! 2 gün önce Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 9 Kas 2026 Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 16.11.2026
Bülten

arXiv 2611.18543 cs.AI

Taklit Önyüklemeli Çok Aracılı Takviyeli Öğrenme

Özgün başlık Imitation Bootstrapped Multi-Agent Reinforcement Learning

  • Tony H. Zhang
  • Connor Mattson
  • Daniel S. Brown
ai/muhabir · özet metinden derlendi

Gösterimler, tek aracılı takviyeli öğrenmeyi (RL) hızlandırmanın etkili bir yoludur, ancak bu fikri çok aracılı takviyeli öğrenmeyi (MARL) kapsayacak şekilde genişletmek önemsiz değildir çünkü tek bir kişinin aynı anda birden fazla aracıyı teleoperasyona tabi tutması zor ve çoğu zaman imkansızdır. Round-Robin Davranış Klonlaması (R2BC), tek bir göstericinin aynı anda bir ajanı kontrol etmesine, diğerlerinin ise mevcut politikalarını yürütmesine izin vererek bu sorunu çözer. Ancak ortaya çıkan taklit politikaları gösterilerin kalitesiyle sınırlıdır.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Gösterimler, tek aracılı takviyeli öğrenmeyi (RL) hızlandırmanın etkili bir yoludur, ancak bu fikri çok aracılı takviyeli öğrenmeyi (MARL) kapsayacak şekilde genişletmek önemsiz değildir çünkü tek bir kişinin aynı anda birden fazla aracıyı teleoperasyona tabi tutması zor ve çoğu zaman imkansızdır. Round-Robin Davranış Klonlaması (R2BC), tek bir göstericinin aynı anda bir ajanı kontrol etmesine, diğerlerinin ise mevcut politikalarını yürütmesine izin vererek bu sorunu çözer. Ancak ortaya çıkan taklit politikaları gösterilerin kalitesiyle sınırlıdır. Taklit Önyüklemeli Pekiştirmeli Öğrenmeyi (IBRL) işbirlikçi ekiplere genişleten ve taklit politikalarını eğitmek için R2BC'yi kullanan bir çerçeve olan Taklit Önyüklemeli Çok Aracılı Güçlendirme Öğrenimini (IBMARL) öneriyoruz. Her zaman adımında, her temsilci kendi taklit politikasından bir eylem teklifi ve RL politikasından bir eylem teklifi alır ve merkezi eleştirmenlerden oluşan bir grup, bu ikisinin her temsilciye ait kombinasyonları arasından seçim yapar. Geçitli bir taklit cezası, yumuşak bir Q filtreli davranış klonlama kaybı, her RL politikasını, yalnızca eleştirmenlerin taklit eylemine daha fazla değer verdiği durumlarda kendi taklit politikasına göre düzenler, böylece eğitimden sonra her ajan, merkezi eleştirmenler olmadan kendi RL politikasını tek başına yürütür. IBMARL, dört işbirlikçi çok aracılı RL kıyaslamasında, taklit politikalarını iki görevde gösterime dayalı temel çizgilerden $2,6$-$4,2x$ daha hızlı aşar, diğer ikisinde bunu aşmanın tek yöntemidir ve dörtten ikisinde göstericinin kendisini aşar. IBMARL, gerçek insan gösterileriyle tek başına taklit öğrenmeyi hâlâ geride bırakıyor ve bunu en iyi temelden iki kat daha hızlı yapıyor.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Demonstrations are an effective way to accelerate single-agent reinforcement learning (RL), but extending this idea to multi-agent reinforcement learning (MARL) is non-trivial as it is difficult and often impossible for a single person to teleoperate multiple agents simultaneously. Round-Robin Behavior Cloning (R2BC) addresses this by letting a single demonstrator control one agent at a time while the others execute their current policies. However, the resulting imitation policies are limited by the quality of the demonstrations. We propose Imitation Bootstrapped Multi-Agent Reinforcement Learning (IBMARL), a framework that extends Imitation Bootstrapped Reinforcement Learning (IBRL) to cooperative teams and uses R2BC to train the imitation policies. At each time step, every agent receives one action proposal from its imitation policy and one from its RL policy, and an ensemble of centralized critics selects among the per-agent combinations of the two. A gated imitation penalty, a soft Q-filtered behavior cloning loss, regularizes each RL policy toward its imitation policy only where the critics value the imitation action more, so that after training each agent executes its RL policy alone, without the centralized critics. On four cooperative multi-agent RL benchmarks, IBMARL surpasses its imitation policies $2.6$-$4.2times$ faster than demonstration-based baselines on two tasks, is the only method to surpass it on the other two, and exceeds the demonstrator itself on two of the four. With real human demonstrations IBMARL still surpasses imitation learning alone, and does so more than twice as fast as the best baseline.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{zhang2026imitation,
  title   = {Imitation Bootstrapped Multi-Agent Reinforcement Learning},
  author  = {Tony H. Zhang and Connor Mattson and Daniel S. Brown},
  journal = {arXiv preprint arXiv:2611.18543},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.18543}
}
APA
Zhang, T. H., Mattson, C., & Brown, D. S. (2026). Taklit Önyüklemeli Çok Aracılı Takviyeli Öğrenme. arXiv. https://arxiv.org/abs/2611.18543
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.