Etkin takviyeli öğrenme (RL), giderek daha fazla bir donanıma, kendi etkileşimi hakkında ne göreceğine ve hangi rehberliği alacağına karar veren modelin etrafındaki iskeleye güveniyor. Mevcut yaklaşımların çoğu, baştan sona sabit kalan, elle yazılmış bir koşum takımı altında eğitilir. Ancak etkili bir donanım, alana, verilere ve modele bağlıdır ve model eğitildikçe değişmeye devam eder.
- Etkin takviyeli öğrenme (RL), giderek daha fazla bir donanıma, kendi etkileşimi hakkında ne göreceğine ve hangi rehberliği alacağına karar veren modelin etrafındaki iskeleye güveniyor.
- Mevcut yaklaşımların çoğu, baştan sona sabit kalan, elle yazılmış bir koşum takımı altında eğitilir.
- Ancak etkili bir donanım, alana, verilere ve modele bağlıdır ve model eğitildikçe değişmeye devam eder.
Etkin takviyeli öğrenme (RL), giderek daha fazla bir donanıma, kendi etkileşimi hakkında ne göreceğine ve hangi rehberliği alacağına karar veren modelin etrafındaki iskeleye güveniyor.
02 Özet
Etkin takviyeli öğrenme (RL), giderek daha fazla bir donanıma, kendi etkileşimi hakkında ne göreceğine ve hangi rehberliği alacağına karar veren modelin etrafındaki iskeleye güveniyor. Mevcut yaklaşımların çoğu, baştan sona sabit kalan, elle yazılmış bir koşum takımı altında eğitilir. Ancak etkili bir donanım, alana, verilere ve modele bağlıdır ve model eğitildikçe değişmeye devam eder. Kablo demetini verilerden öğrenilen programlar olarak yeniden şekillendiren ve model RL ile eğitilirken gelişen ModHarness-RL'yi tanıtıyoruz. ModHarness-RL, etkileşimi yapılandırılmış Durum, bir dizi yazılı blok ve koşumun iki temel bileşeni bu bloklar üzerindeki programlar olarak kaydeder; birikmiş geçmişi modelin bağlamına birleştiren bir Sıkıştırma programı ve davranış saptığında rehberlik sağlayan bir Yönlendirme programı. RL eğitimi sırasında, aday programlar güncel yörüngelerden önerilir, yürütmeyle doğrulanır ve geçmiş yörüngeler üzerinden tekrar oynatılır, böylece donanım modelin davranışının nasıl değiştiğini izler. CodeSearch'ü derinlemesine inceliyoruz ve 1.5B'den 8B'ye kadar modellerle ALFWorld ve BIRD SQL'i daha ayrıntılı olarak analiz ediyoruz. Önerilen Sıkıştırma ve Yönlendirme mekanizmaları çoğu ortamda sabit kablo demeti temel çizgisine göre uzun süreli performansı artırır. Bu sonuçlar, ajansal RL'ye yönelik bir donanımın görev verilerinden öğrenilebileceğini ve modelle birlikte geliştirilebileceğini göstermektedir.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Agentic reinforcement learning (RL) increasingly relies on a harness, the scaffold around the model that decides what it sees of its own interaction and what guidance it receives. Most existing approaches train under a hand-written harness that stays fixed throughout. However, an effective harness depends on the domain, the data and the model, and keeps changing as the model trains. We introduce ModHarness-RL, which recasts the harness as programs that are learned from data and evolve as the model trains with RL. ModHarness-RL records the interaction as structured State, a set of typed blocks, and two core components of the harness are programs over these blocks, a Compression program that assembles the accumulated history into the model's context and a Steering program that supplies guidance when behavior deviates. During RL training, candidate programs are proposed from recent trajectories, verified by execution, and replayed over past trajectories, so the harness tracks how the model's behavior shifts. We study CodeSearch in depth and further analyze ALFWorld and BIRD SQL, with models from 1.5B to 8B. The proposed Compression and Steering mechanisms improve held-out performance over the fixed-harness baseline in most settings. These results suggest that a harness for agentic RL can be learned from the task's data and evolved with the model.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{he2026modharnessrl,
title = {ModHarness-RL: Recasting Harnesses as Learnable and Evolving Programs for Agentic RL},
author = {Zelin He and Siyu Zhu and Jacob Helwig and Yujian Liu and Li An and Rohit Jain and Shiyu Chang and Alborz Geramifard},
journal = {arXiv preprint arXiv:2611.18533},
year = {2026},
url = {https://arxiv.org/abs/2611.18533}
}
He, Z., Zhu, S., Helwig, J., Liu, Y., An, L., Jain, R., Chang, S., & Geramifard, A. (2026). ModHarness-RL: Agentic RL için Donanımları Öğrenilebilir ve Gelişen Programlar Olarak Yeniden Biçimlendirmek. arXiv. https://arxiv.org/abs/2611.18533
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın