Özetle: Bir aracının ardı ardına yapılan revizyonlarla iyileştirilmesi, sınırlı bir bütçe altında araştırma ve değerlendirmenin dengelenmesini gerektirir.
Özet
Bir aracının ardı ardına yapılan revizyonlarla iyileştirilmesi, sınırlı bir bütçe altında araştırma ve değerlendirmenin dengelenmesini gerektirir. Dar bir arama, yararlı düzenleme dizilerini kaçırabilir; her ara sürümün tam olarak değerlendirilmesi ise genellikle bu diziler doğrulanmış bir iyileştirme sağlamadan önce bütçeyi tüketir. Taslaktan esinlenerek – spekülatif kod çözme ilkesini doğrulayarak, iç döngü aracı aramasını dış döngü iyileştirici öğrenmeyle birleştiren iki seviyeli bir çerçeve olan Spekülatif Özyinelemeli Kişisel Gelişimi (SpecRSI) öneriyoruz. SpecRSI, yalnızca tam olarak değerlendirilmiş, kabul edilebilir versiyonları benimserken, selefleri tam olarak değerlendirilmeden önce haleflerin taslaklarını hazırlar. İç döngüde, Doğrulamaya Duyarlı Ağaç Arama (VATS), bir devamın öngörülen doğrulanmış getirisini kullanarak bütçeyi daha sonraki düzenlemeler ve bekleyen kontroller arasında dağıtır. Dış döngüde, Grup Doğrulama Optimizasyonu (GVO), gerçek değerlendiriciyi sabit tutarken tamamlanan aramalardan iyileştiriciyi günceller. SpecRSI'yi bilimsel optimizasyon (ağ altyapısı için aktif kuyruk yönetimi (AQM) dahil), kodlama ve genel aracı sistem karşılaştırmaları konusunda değerlendiriyoruz. Eşleştirilmiş değerlendirme çağrısı bütçeleri altında SpecRSI, Janus'a göre bilimsel terminal kazancını %60,0 ila %96,3 oranında ve bütçe eğrisi altındaki alanı %32,1 ila %91,6 artırırken, 50 bilimsel omurga görev çiftinin tamamında daha yüksek ortalamalara ulaşır ve yirmi omurga genelinde sistem puanında MetaRSI-v1'den yüzde 1,30 ila 2,70 puan (pp) daha iyi performans gösterir. Bulut sunucusu düzeyindeki karşılaştırmalarda, sırasıyla %7,0 ve %9,2 daha düşük token maliyetiyle PyBaMM terminal kazancını %142,6 ve SWE-Pro başarısını 6,0 puan artırıyor. Bu sonuçlar önerilen yaklaşımın etkinliğini göstermektedir.
Orijinal Özet (İngilizce)
Improving an agent through successive revisions requires balancing exploration and evaluation under a limited budget. A narrow search can miss useful sequences of edits, while fully evaluating every intermediate version often exhausts the budget before those sequences yield a verified improvement. Inspired by the draft–verify principle of speculative decoding, we propose Speculative Recursive Self-Improvement (SpecRSI), a two-level framework coupling inner-loop agent search with outer-loop improver learning. SpecRSI drafts successors before their predecessors are fully evaluated, while adopting only fully evaluated, admissible versions. In the inner loop, Verification-Aware Tree Search (VATS) allocates the budget between further edits and outstanding checks using the predicted verified return of a continuation. In the outer loop, Group Verification Optimization (GVO) updates the improver from completed searches while keeping the real evaluator fixed. We evaluate SpecRSI on scientific optimization (including active queue management (AQM) for network infrastructure), coding, and general agent-system benchmarks. Under matched evaluation-call budgets, SpecRSI improves scientific terminal gain over Janus by 60.0%–96.3% and area under the budget curve by 32.1%–91.6%, while achieving higher means across all 50 scientific backbone–task pairs and outperforming MetaRSI-v1 by 1.30–2.70 percentage points (pp) in system score across twenty backbones. On instance-level comparisons, it further improves PyBaMM terminal gain by 142.6% and SWE-Pro success by 6.0 pp at 7.0% and 9.2% lower token cost, respectively. These results demonstrate the efficacy of the proposed approach.
Kaynak: arXiv:2610.16491 · PDF
Henüz yorum yok. İlk yorumu siz yapın!