Her Muhakeme Genellemez: RLVR’de Genelleştirilebilir Muhakeme Stratejilerini Öğrenmeye İlişkin Bir Vaka Çalışması

Özetle: Doğrulanabilir ödüllerle (RLVR) pekiştirmeli öğrenme, büyük dil modeli (LLM) muhakemesi için genelleştirilebilir iyileştirmeyi mümkün kılabilir.

Özet

Doğrulanabilir ödüllerle (RLVR) pekiştirmeli öğrenme, büyük dil modeli (LLM) muhakemesi için genelleştirilebilir iyileştirmeyi mümkün kılabilir. Bu makale, akıl yürütme stratejileri yoluyla bu tür bir genellemenin nasıl teşvik edileceğini incelemektedir. Bu soruyu kontrol edilebilir bir denklem çözme çerçevesiyle inceliyoruz: f(x)=y denklemleri için birden fazla x girdisi bulmak; burada f, ikili olmayan bir dizi fonksiyonudur. Bu ayar, kolaydan zora dağıtım dışı (OOD) değişimlerin net bir tanımını desteklerken akıl yürütme stratejilerini gözlemlenebilir hale getirir; örneğin, daha fazla çözüm, daha uzun y, vb. İnce bir RLVR başarısızlığını ortaya çıkarıyoruz: modele dağıtım içi görevleri yüksek doğrulukla ve yapılandırılmış adım adım türetmeyle çözmeyi öğretiyor, ancak OOD kaymaları altında aynı model türetmeyi terk ediyor ve etkisiz kaba kuvvet sayımına çökerek keskin doğruluk düşüşlerine neden oluyor. Bu gözlem, RLVR genellemesinin daha derin zorluklarını ortaya koyuyor; çünkü model, doğru muhakeme stratejisiyle dağıtımda başarılı olduğundan ne yetersiz temel model ne de ödül korsanlığıdır. Bu başarısızlığı azaltmanın anahtarı, şaşırtıcı bir şekilde yardımcı olan dolaylı bir müdahaledir: bijektif ters çevirme görevleriyle birlikte eğitim. Her ne kadar bu bijektif görevler aslında tekdüze olarak daha zor olmasa da ve bijektif olmayan OOD değerlendirmesinden bile daha uzak olsa da, türetmeyi daha kesin hale getirir ve OOD değişimleri altında doğru stratejiyi ve doğruluğu büyük ölçüde geri getirir. Bu etki teorik analizimizi daha da motive ediyor: Yalnızca sonuca dayalı RLVR, süreç denetimi olmadan bile etkili akıl yürütme stratejilerine dolaylı olarak daha fazla itibar ederek akıl yürütme süreçlerini şekillendirebilir. Sonuç olarak, analiz çerçevemiz ve bulgularımız, OOD değişimleri altında RLVR genellemesinde akıl yürütme stratejilerinin önemli rolünü ve teşvik edilmesini sistematik olarak ortaya koymaktadır. Kod https://github.com/ziqipang/rl_meta_thinking adresinde mevcuttur.

Orijinal Özet (İngilizce)

Reinforcement learning with verifiable rewards (RLVR) can enable generalizable improvement for large language model (LLM) reasoning. This paper studies how to incentivize such generalization via reasoning strategies. We study this question with a controllable equation-solving framework: finding multiple inputs x for equations f(x)=y, where f is a non-bijective string function. This setting makes reasoning strategies observable while supporting a clear definition of easy-to-hard out-of-distribution (OOD) shifts, e.g., more solutions, longer y, etc. We uncover a subtle RLVR failure: it teaches the model to solve in-distribution tasks with high accuracy and structured step-by-step derivation, yet under OOD shifts, the same model abandons derivation and collapses to ineffective brute-force enumeration, causing sharp accuracy drops. This observation reveals the deeper challenges of RLVR generalization as it is neither incapable base model nor reward hacking, since the model succeeds in-distribution with the correct reasoning strategy. The key to mitigating this failure is an indirect intervention that surprisingly helps: co-training with bijective inversion tasks. Although these bijective tasks are actually not uniformly harder and even further from the non-bijective OOD evaluation, they make derivation more certain and substantially restore the correct strategy and accuracy under OOD shifts. This effect further motivates our theoretical analysis: outcome-only RLVR can shape reasoning processes through implicitly crediting the effective reasoning strategies more, even without process supervision. To conclude, our analysis framework and findings systematically reveal the crucial role and incentivization of reasoning strategies in RLVR generalization under OOD shifts. Code is available at https://github.com/ziqipang/rl_meta_thinking.

Kaynak: arXiv:2611.03627 · PDF