Çelişkili Spekülatif Akıl Yürütme Uzun Ufuk Ajanlarını İyileştirir

Özetle: Spekülatif kod çözme, yalnızca model davranışını değiştirmeden büyük dil modeli kod çözmeyi hızlandıran bir sistem optimizasyonu olarak ele alınmıştır.

Özet

Spekülatif kod çözme, yalnızca model davranışını değiştirmeden büyük dil modeli kod çözmeyi hızlandıran bir sistem optimizasyonu olarak ele alınmıştır. Bu görüşe göre, daha iyi taslak modeller yetiştirmeye yönelik artan çaba yalnızca kabul oranına odaklanmıştır. Bu görüşün uzun vadeli aktör akıl yürütmesi için geçerli olmadığını savunuyoruz. Farklı spekülatif kod çözme yaklaşımlarıyla karmaşık etmenli görevlerdeki sınır açık ağırlık modellerini ölçerek, doğrulama pencereleri içinde sayısal gürültünün arttığını ve düşünme sürecinin taslak kabul sonuçlarının, 30 adımdan sonra modelin çıktı dağılımını değiştirebildiğini, dolayısıyla uzun ufuklu etmenlerin akıl yürütme doğruluğunu rastgele yönlerde gözle görülür şekilde etkileyebildiğini bulduk. Bu çalışmada bu gürültüyü kontrol altına alarak hedef modellerin muhakeme yeteneğini geliştiriyoruz. Hedef model tarafından doğrulanan genel jeton dağılımını değiştiremesek de, taslak modeli reddedilecek şekilde eğiterek kritik muhakemeyi en yüksek hassasiyetle kodlayabiliriz. Aracı izlerindeki bu noktaları tespit ediyoruz ve taslak modeli rakip tercihi destekleyecek şekilde eğitiyoruz. Çıkarımda bulunulduğunda, eğitilen taslak ve hedef tam olarak bu karar noktalarında yollarını ayırır, doğrulama yeniden başlar, böylece eleştirel düşünme simgeleri hedef modelden örneklenir ve en az gürültülü koşullar altında kodlanır. Bu yaklaşım, eleştirel akıl yürütmenin daha iyi indekslenmesini ve uzun bir ufuk boyunca daha dayanıklı olmasını sağlar. Karmaşık etmenli kodlama kıyaslamalarında yaklaşımımız, hedef modelde veya çıktı dağılımında hiçbir değişiklik olmadan uçtan uca başarı oranını artırır. Sonuçlarımız, spekülatif kod çözme mekanizmasını saf bir hızlandırıcıdan, barındırılan parametrelerin %0,06 ila %0,28'ini eğiterek uzun ufuklu aracıların doğruluğunu artıran bağlam hassasiyeti için aktif bir ayırıcıya dönüştürüyor.

Orijinal Özet (İngilizce)

Speculative decoding has been treated purely as a systems optimization that speeds up large language model decoding without changing the model behavior. Under this view, the growing effort to train better draft models has been focused solely on acceptance rate. We argue that this view does not hold true for long-horizon agent reasoning. Measuring frontier open-weight models on complex agentic tasks with different speculative decoding approaches, we found that numerical noise grows within verification windows, and the draft acceptance results of the thinking process can change the output distribution of the model after 30 steps, thus noticeably influencing the reasoning accuracy of long-horizon agents in random directions. In this work, we improve the reasoning capability of target models by controlling such noise. While we cannot change the overall token distribution verified by the target model, we can encode critical reasoning with highest precision by training the draft model to be rejected. We identify these points in agent traces and train the draft model to favor adversarial preference. At inference the trained draft and the target part ways precisely at these decision points, verification restarts, so that critical thinking tokens are sampled from the target model and encoded under its least noisy conditions. This approach makes critical reasoning better indexed and more durable over a long horizon. On complex agentic coding benchmarks, our approach raises end-to-end success rate with no change to the target model or its output distribution. Our results recast the speculative decoding mechanism from a pure accelerator into an active allocator for context precision that improves the accuracy of long-horizon agents by training 0.06% to 0.28% of hosted parameters.

Kaynak: arXiv:2611.05345 · PDF