FADE: Faktörlü Yetenek – Çevrimiçi RLVR Planlaması için Zorluk Filtreleme

Özetle: Doğrulanabilir ödüllerle (RLVR) grup bazlı takviyeli öğrenme, yalnızca örneklenmiş tamamlamaları uyuşmayan istemlerden öğrenir: tamamı başarılı ve tamamı başarısız olan gruplar, sıfır göreli avantaj sağlar ve politikayı…

Özet

Doğrulanabilir ödüllerle (RLVR) grup bazlı takviyeli öğrenme, yalnızca örneklenmiş tamamlamaları uyuşmayan istemlerden öğrenir: tamamı başarılı ve tamamı başarısız olan gruplar, sıfır göreli avantaj sağlar ve politikayı değiştirmeden üretim bütçesini yakar. Uyarlanabilir zamanlayıcılar, dağıtımları bilgilendirici istemlere doğru yönlendirmeye çalışır, ancak çok farklı hızlarda gelişen iki miktarı birbirine bağlayan istem başına geçiş hızı izleyicilerine güvenirler; politikanın muhakeme becerileri boyunca değişen yetkinliği ve her istemin kendine özgü zorluğu. Tek bir üstel ortalama veya Beta sayacı her ikisini de aynı anda takip ettiğinde, kısa bellek, istemlerin göreceli sıralamasını karıştırırken, uzun bellek eski geçiş oranlarını bildirir. İki zaman ölçeğini ayıran çift doğrusal durum uzayı filtresi olan FADE'i (Faktörlü Yetenek – Zorluk Tahmini) sunuyoruz. FADE, her istemin başarı logitini, hızlı sürüklenen politika yetenek vektörüyle beyazlatılmış $K$ boyutlu beceri yükünün iç çarpımı olarak, yavaş daralan skaler öğe kesişiminin çıkarılmasıyla temsil eder. Pólya-Gamma artırmayı kullanarak, ikili kullanıma sunma sonuçlarının her bir mini grubu, kapalı formdaki $K$ boyutlu yeteneği bir sıralama-$K$ Woodbury adımı aracılığıyla günceller ve öğe müdahalelerini sabit bırakırken, bu becerileri paylaşan tüm gözlemlenmemiş istemlere anında yeterlilik değişimlerini aktarır. Ortaya çıkan son ortalama ve varyanstan, dejenere olmayan bir dağıtım grubu çizme olasılığı için kapalı formlu bir fayda elde ediyoruz. FADE, eşleştirilmiş bir devreye alma bütçesi altında beş akıl yürütme kıyaslaması, iki temel model ve dört planlama paradigması karşısında, adım başına 0,6$/ms'den daha az ekleme yaparken aşağı akış doğruluğunu ve kalibrasyonunu sürekli olarak geliştirir.

Orijinal Özet (İngilizce)

Group-based reinforcement learning with verifiable rewards (RLVR) learns only from prompts whose sampled completions disagree: all-pass and all-fail groups produce zero relative advantage and burn generation budget without moving the policy. Adaptive schedulers try to steer rollouts toward informative prompts, yet they rely on per-prompt pass-rate trackers that entangle two quantities evolving at very different speeds—the policy's shifting competence across reasoning skills and each prompt's intrinsic difficulty. When a single exponential average or Beta counter tracks both at once, short memory scrambles the relative ordering of prompts whereas long memory reports stale pass rates. We introduce FADE (Factored Ability–Difficulty Estimation), a bilinear state-space filter that separates the two timescales. FADE represents each prompt's success logit as the inner product of a whitened $K$-dimensional skill loading with a fast-drifting policy ability vector, minus a slow-shrinking scalar item intercept. Using Pólya–Gamma augmentation, each minibatch of binary rollout outcomes updates the $K$-dimensional ability posterior in closed form via a rank-$K$ Woodbury step, instantly transferring competence shifts to all unobserved prompts that share those skills while leaving item intercepts stable. From the resulting posterior mean and variance we derive a closed-form utility for the probability of drawing a non-degenerate rollout group. Across five reasoning benchmarks, two base models, and four scheduling paradigms under a matched rollout budget, FADE consistently improves downstream accuracy and calibration while adding less than $0.6$,ms per step.

Kaynak: arXiv:2611.03625 · PDF