Çok turlu ajanik pekiştirmeli öğrenme (RL), uzun vadeli görevlerde üstün performans gösterse de performans kazanımları etkileşim kısıtlamalarına karşı oldukça hassas olmaya devam etmektedir.
02 Özet
Özetle: Çok turlu ajanik pekiştirmeli öğrenme (RL), uzun vadeli görevlerde üstün performans gösterse de performans kazanımları etkileşim kısıtlamalarına karşı oldukça hassas olmaya devam etmektedir.
Özet
Çok turlu ajanik pekiştirmeli öğrenme (RL), uzun vadeli görevlerde üstün performans gösterse de performans kazanımları etkileşim kısıtlamalarına karşı oldukça hassas olmaya devam etmektedir. $Pass@(K,T)$ aracılığıyla örneklem genişliği $K$ ve etkileşim derinliği $T$ üzerinden değerlendirme yaparak, yörünge düzeyinde takviyeli öğrenme (RL) avantajlarının yeterli tur bütçelerine bağlı olduğunu ve bütçeler daraldığında önemli ölçüde azaldığını gösteriyoruz. Ayrıca, etken GY tek adımlı karar kalitesini eşit şekilde yükseltmez; daha ziyade gücü, hata düzeltme ve uzun vadeli dayanıklılık üzerinde yoğunlaşır. Bu bütçe bağımlılığının neden olduğu uygulama risklerini azaltmak için süreç denetim sinyallerinin faydaları ve sınırlamaları hakkında ön bir tartışma sunuyor ve eğitim sırasında etkileşim bütçelerini değiştiren bir alternatif olarak BudgetMix RL’yi tanıtıyoruz. Deneyler, BudgetMix RL’nin çeşitli yürütme ortamlarında sağlam bir performans sergilediğini göstermektedir. Proje Sayfası: https://rethinking-agentic-rl.github.io/
Orijinal Özet (İngilizce)
While multi-turn agentic reinforcement learning (RL) excels on long-horizon tasks, its performance gains remain highly sensitive to interaction constraints. Evaluating across sampling breadth $K$ and interaction depth $T$ via $Pass@(K,T)$, we show that trajectory-level RL advantages depend on sufficient turn budgets, diminishing significantly when budgets tighten. Besides, agentic RL does not uniformly elevate single-step decision quality; rather, its strength concentrates in error recovery and long-horizon resilience. To mitigate the deployment risks caused by this budget dependence, we provide a preliminary discussion on the benefits and limitations of process supervision signals and introduce BudgetMix RL as an alternative that varies interaction budgets during training. Experiments demonstrate that BudgetMix RL achieves robust performance across diverse execution settings. Project Page: https://rethinking-agentic-rl.github.io/
Kaynak: arXiv:2611.06483 · PDF
Çok turlu ajanik pekiştirmeli öğrenme (RL), uzun vadeli görevlerde üstün performans gösterse de performans kazanımları etkileşim kısıtlamalarına karşı oldukça hassas olmaya devam etmektedir. $Pass@(K,T)$ aracılığıyla örneklem genişliği $K$ ve etkileşim derinliği $T$ üzerinden değerlendirme yaparak, yörünge düzeyinde takviyeli öğrenme (RL) avantajlarının yeterli tur bütçelerine bağlı olduğunu ve bütçeler daraldığında önemli ölçüde azaldığını gösteriyoruz. Ayrıca, etken GY tek adımlı karar kalitesini eşit şekilde yükseltmez; daha ziyade gücü, hata düzeltme ve uzun vadeli dayanıklılık üzerinde yoğunlaşır. Bu bütçe bağımlılığının neden olduğu uygulama risklerini azaltmak için süreç denetim sinyallerinin faydaları ve sınırlamaları hakkında ön bir tartışma sunuyor ve eğitim sırasında etkileşim bütçelerini değiştiren bir alternatif olarak BudgetMix RL'yi tanıtıyoruz. Deneyler, BudgetMix RL'nin çeşitli yürütme ortamlarında sağlam bir performans sergilediğini göstermektedir. Proje Sayfası: https://rethinking-agentic-rl.github.io/
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{zhu2026what,
title = {What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?},
author = {Kejian Zhu and Zhuoran Jin and Shangqing Tu and Tianyi Men and Yupu Hao and Jiachun Li and Kang Liu and Jun Zhao},
journal = {arXiv preprint arXiv:2611.06483},
year = {2026},
url = {https://arxiv.org/abs/2611.06483}
}
Zhu, K., Jin, Z., Tu, S., Men, T., Hao, Y., Li, J., Liu, K., & Zhao, J. (2026). Çok Evreli Pekiştirme Öğrenmesi, LLM Ajanlarında Gerçekten Neyi İyileştirir?. arXiv. https://arxiv.org/abs/2611.06483
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın