Eğitim sonrası takviye öğrenimi (RL), difüzyon transformatörlerinin görsel kalitesini, metin oluşturmayı ve kompozisyon doğruluğunu önemli ölçüde artırır. İstenen metni oluşturma veya birden fazla nesne oluşturma gibi yetenekler doğası gereği istemlere bağlı olduğundan, doğal bir hipotez, bunları geliştirmenin karmaşık, girdiye bağlı dönüşümleri öğrenmeyi gerektirdiği yönündedir. Girişten bağımsız bir değişimin bu kazanımların ne kadarını açıkladığını izole etmek için, RL ayarlı her modeli kasıtlı olarak basit bir parametrelendirmeyle inceliyoruz: donmuş temel modelin blok çıktılarına eklenen sabit bir yönlendirme vektörleri seti.
- Eğitim sonrası takviye öğrenimi (RL), difüzyon transformatörlerinin görsel kalitesini, metin oluşturmayı ve kompozisyon doğruluğunu önemli ölçüde artırır.
- İstenen metni oluşturma veya birden fazla nesne oluşturma gibi yetenekler doğası gereği istemlere bağlı olduğundan, doğal bir hipotez, bunları geliştirmenin karmaşık, girdiye bağlı dönüşümleri öğrenmeyi gerektirdiği yönündedir.
- Girişten bağımsız bir değişimin bu kazanımların ne kadarını açıkladığını izole etmek için, RL ayarlı her modeli kasıtlı olarak basit bir parametrelendirmeyle inceliyoruz: donmuş temel modelin blok çıktılarına eklenen sabit bir yönlendirme vektörleri seti.
Eğitim sonrası takviye öğrenimi (RL), difüzyon transformatörlerinin görsel kalitesini, metin oluşturmayı ve kompozisyon doğruluğunu önemli ölçüde artırır.
02 Özet
Eğitim sonrası takviye öğrenimi (RL), difüzyon transformatörlerinin görsel kalitesini, metin oluşturmayı ve kompozisyon doğruluğunu önemli ölçüde artırır. İstenen metni oluşturma veya birden fazla nesne oluşturma gibi yetenekler doğası gereği istemlere bağlı olduğundan, doğal bir hipotez, bunları geliştirmenin karmaşık, girdiye bağlı dönüşümleri öğrenmeyi gerektirdiği yönündedir. Girişten bağımsız bir değişimin bu kazanımların ne kadarını açıkladığını izole etmek için, RL ayarlı her modeli kasıtlı olarak basit bir parametrelendirmeyle inceliyoruz: donmuş temel modelin blok çıktılarına eklenen sabit bir yönlendirme vektörleri seti. SD3.5-M'de bu vektörler, RL ayarlı LoRA'ya göre 65 kat daha az parametre tutar (18,8M'ye karşı 0,29M). Bunları, hedefte herhangi bir ödül olmadan, halka açık RL ayarlı kontrol noktalarının hız tahminleriyle eşleşecek şekilde uyarlıyoruz. Vektörler her istem, belirteç ve örnekleme tohumu için aynı olsa da, RL ayarlı altı görüntü modelindeki ödül kazanımlarının %90,0-96,3'ünü ve RL ayarlı iki video modelinde %89,8 ve %111,9'u kurtarırlar. Sıfırdan başlatılan ve çevrimiçi RL ile eğitilen vektörler, tek başına, SD3.5-M'de metin oluşturma (OCR) ve insan tercihi (PickScore) açısından ağırlığa dayalı RL'nin ödül kazanımlarını aşıyor. Dolayısıyla sürekli bir değişim, eğitim sonrası politika dereceli RL'nin kazancının çoğu için yeterlidir: girdiye bağlı yeni dönüşümler olmadan, önceden eğitilmiş jeneratörü halihazırda hesaplayabildiği şeye yönlendirir.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Reinforcement learning (RL) post-training substantially improves the visual quality, text rendering, and compositional accuracy of diffusion transformers. Because capabilities such as rendering requested text or composing multiple objects are inherently prompt-dependent, a natural hypothesis is that improving them requires learning complex, input-dependent transformations. To isolate how much of these gains an input-independent shift explains, we probe each RL-tuned model with a deliberately simple parameterization: a fixed set of steering vectors added to the block outputs of the frozen base model. On SD3.5-M, these vectors hold 65x fewer parameters than the RL-tuned LoRA (0.29M against 18.8M). We fit them to match the velocity predictions of public RL-tuned checkpoints, with no reward in the objective. Although the vectors are identical for every prompt, token, and sampling seed, they recover 90.0-96.3% of the reward gains of six RL-tuned image models, and 89.8% and 111.9% on two RL-tuned video models. Initialized at zero and trained with online RL, the vectors alone exceed the reward gains of weight-based RL on text rendering (OCR) and human preference (PickScore) on SD3.5-M. A constant shift thus suffices for most of the gain of policy-gradient RL post-training: without new input-dependent transformations, it steers the pretrained generator toward what it can already compute.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{meral2026rl,
title = {RL Post-Training in Diffusion Transformers Is Activation Steering},
author = {Tuna Han Salih Meral and Kaan Oktay and Alec Helbling and Atakan Kara and Duen Horng Chau and Pinar Yanardag},
journal = {arXiv preprint arXiv:2611.26627},
year = {2026},
url = {https://arxiv.org/abs/2611.26627}
}
Meral, T. H. S., Oktay, K., Helbling, A., Kara, A., Chau, D. H., & Yanardag, P. (2026). Difüzyon Transformatörlerinde RL Sonrası Eğitim Aktivasyon Yönlendirmesidir. arXiv. https://arxiv.org/abs/2611.26627
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın