İçeriğe geç
CANLI 3 sa önce Claude artık video konferanslara katılabiliyor! 2 gün önce Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 9 Kas 2026 Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 17.11.2026
Bülten

arXiv 2611.18533 cs.AI

ModHarness-RL: Agentic RL için Donanımları Öğrenilebilir ve Gelişen Programlar Olarak Yeniden Biçimlendirmek

Özgün başlık ModHarness-RL: Recasting Harnesses as Learnable and Evolving Programs for Agentic RL

  • Zelin He
  • Siyu Zhu
  • Jacob Helwig
  • Yujian Liu
  • Li An
  • Rohit Jain
  • Shiyu Chang
  • Alborz Geramifard
ai/muhabir · özet metinden derlendi

Etkin takviyeli öğrenme (RL), giderek daha fazla bir donanıma, kendi etkileşimi hakkında ne göreceğine ve hangi rehberliği alacağına karar veren modelin etrafındaki iskeleye güveniyor. Mevcut yaklaşımların çoğu, baştan sona sabit kalan, elle yazılmış bir koşum takımı altında eğitilir. Ancak etkili bir donanım, alana, verilere ve modele bağlıdır ve model eğitildikçe değişmeye devam eder.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Etkin takviyeli öğrenme (RL), giderek daha fazla bir donanıma, kendi etkileşimi hakkında ne göreceğine ve hangi rehberliği alacağına karar veren modelin etrafındaki iskeleye güveniyor. Mevcut yaklaşımların çoğu, baştan sona sabit kalan, elle yazılmış bir koşum takımı altında eğitilir. Ancak etkili bir donanım, alana, verilere ve modele bağlıdır ve model eğitildikçe değişmeye devam eder. Kablo demetini verilerden öğrenilen programlar olarak yeniden şekillendiren ve model RL ile eğitilirken gelişen ModHarness-RL'yi tanıtıyoruz. ModHarness-RL, etkileşimi yapılandırılmış Durum, bir dizi yazılı blok ve koşumun iki temel bileşeni bu bloklar üzerindeki programlar olarak kaydeder; birikmiş geçmişi modelin bağlamına birleştiren bir Sıkıştırma programı ve davranış saptığında rehberlik sağlayan bir Yönlendirme programı. RL eğitimi sırasında, aday programlar güncel yörüngelerden önerilir, yürütmeyle doğrulanır ve geçmiş yörüngeler üzerinden tekrar oynatılır, böylece donanım modelin davranışının nasıl değiştiğini izler. CodeSearch'ü derinlemesine inceliyoruz ve 1.5B'den 8B'ye kadar modellerle ALFWorld ve BIRD SQL'i daha ayrıntılı olarak analiz ediyoruz. Önerilen Sıkıştırma ve Yönlendirme mekanizmaları çoğu ortamda sabit kablo demeti temel çizgisine göre uzun süreli performansı artırır. Bu sonuçlar, ajansal RL'ye yönelik bir donanımın görev verilerinden öğrenilebileceğini ve modelle birlikte geliştirilebileceğini göstermektedir.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Agentic reinforcement learning (RL) increasingly relies on a harness, the scaffold around the model that decides what it sees of its own interaction and what guidance it receives. Most existing approaches train under a hand-written harness that stays fixed throughout. However, an effective harness depends on the domain, the data and the model, and keeps changing as the model trains. We introduce ModHarness-RL, which recasts the harness as programs that are learned from data and evolve as the model trains with RL. ModHarness-RL records the interaction as structured State, a set of typed blocks, and two core components of the harness are programs over these blocks, a Compression program that assembles the accumulated history into the model's context and a Steering program that supplies guidance when behavior deviates. During RL training, candidate programs are proposed from recent trajectories, verified by execution, and replayed over past trajectories, so the harness tracks how the model's behavior shifts. We study CodeSearch in depth and further analyze ALFWorld and BIRD SQL, with models from 1.5B to 8B. The proposed Compression and Steering mechanisms improve held-out performance over the fixed-harness baseline in most settings. These results suggest that a harness for agentic RL can be learned from the task's data and evolved with the model.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{he2026modharnessrl,
  title   = {ModHarness-RL: Recasting Harnesses as Learnable and Evolving Programs for Agentic RL},
  author  = {Zelin He and Siyu Zhu and Jacob Helwig and Yujian Liu and Li An and Rohit Jain and Shiyu Chang and Alborz Geramifard},
  journal = {arXiv preprint arXiv:2611.18533},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.18533}
}
APA
He, Z., Zhu, S., Helwig, J., Liu, Y., An, L., Jain, R., Chang, S., & Geramifard, A. (2026). ModHarness-RL: Agentic RL için Donanımları Öğrenilebilir ve Gelişen Programlar Olarak Yeniden Biçimlendirmek. arXiv. https://arxiv.org/abs/2611.18533
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.