TOPPO: Eleştirel Dengeleme ile Çok Görevli Takviyeli Öğrenim için PPO’yu Yeniden Düşünmek

Özetle: Soft Actor-Critic (SAC) ve çeşitleri, politika dışı örnek verimliliği nedeniyle Çok Görevli Güçlendirme Öğrenimine (MTRL) hakimken, Proksimal Politika Optimizasyonu (PPO) gibi politika içi yöntemler yeterince araştırılm…

Özet

Soft Actor-Critic (SAC) ve çeşitleri, politika dışı örnek verimliliği nedeniyle Çok Görevli Güçlendirme Öğrenimine (MTRL) hakimken, Proksimal Politika Optimizasyonu (PPO) gibi politika içi yöntemler yeterince araştırılmamıştır. MTRL'deki PPO'nun daha önce gözden kaçırılan bir sorundan muzdarip olduğunu teşhis ettik: kritik taraftaki gradyan kötü koşullanması; bu durum, değer fonksiyonunun güncellemelerine kolay görevler hakim olurken kuyruk görevlerinin durmasına neden olabilir. Bu sorunu çözmek için, PPO'nun Kritik Dengeleme yoluyla yeniden formüle edilmiş hali olan TOPPO'yu (Kuyruk İçin Optimize Edilmiş PPO) öneriyoruz; gradyan koşullandırmayı geliştiren ve görevler arasında öğrenme dinamiklerini dengeleyen bir modül seti. Modüler mimarilere veya büyük modellere dayanan önceki yaklaşımlardan farklı olarak TOPPO, PPO'nun kendi içindeki optimizasyon darboğazını hedefler. Deneysel olarak, Meta-World+ MT50 kıyaslamasında TOPPO, önceki SAC ailesi ve ARS ailesi yöntemlerine göre daha güçlü ortalama ve kuyruk görev performansı elde ederken, önemli ölçüde daha az parametre kullanır ve nihai performansına daha az çevre adımında ulaşır. Özellikle TOPPO, eğitimin başlarında güçlü SAC temellerini karşılıyor veya aşıyor ve tam bütçeyle üstün performansı sürdürüyor. Ablasyonlar, TOPPO'daki her modülün etkinliğini doğrular ve etkileşimleri hakkında bilgi sağlar. Sonuçlarımız, uygun optimizasyonla politika içi yöntemlerin MTRL'deki politika dışı yaklaşımlara rakip olabileceğini veya onları aşabileceğini, SAC'ye olan yaygın güvene meydan okuyabileceğini ve merkezi darboğaz olarak kritik taraftaki gradyan koşullandırmayı vurgulayabileceğini gösteriyor.

Orijinal Özet (İngilizce)

Soft Actor-Critic (SAC) and its variants dominate Multi-Task Reinforcement Learning (MTRL) due to their off-policy sample efficiency, while on-policy methods such as Proximal Policy Optimization (PPO) remain underexplored. We diagnose that PPO in MTRL suffers from a previously overlooked issue: critic-side gradient ill-conditioning, which may cause tail tasks to stall while easy tasks dominate the value function's updates. To address this, we propose TOPPO (Tail-Optimized PPO), a reformulation of PPO via Critic Balancing — a set of modules that improve gradient conditioning and balance learning dynamics across tasks. Unlike prior approaches that rely on modular architectures or large models, TOPPO targets the optimization bottleneck within PPO itself. Empirically, on the Meta-World+ MT50 benchmark, TOPPO achieves stronger mean and tail-task performance than prior SAC-family and ARS-family methods while using substantially fewer parameters and reaching their final performance in fewer environment steps. Notably, TOPPO matches or surpasses strong SAC baselines early in training and maintains superior performance at full budget. Ablations confirm the effectiveness of each module in TOPPO and provide insights into their interactions. Our results demonstrate that, with proper optimization, on-policy methods can rival or exceed off-policy approaches in MTRL, challenging the prevailing reliance on SAC and highlighting critic-side gradient conditioning as the central bottleneck.

Kaynak: arXiv:2605.11473 · PDF