İçeriğe geç
CANLI 03:21 OpenAI Performance Factory: Codex, ChatGPT’yi hızlı tutuyor 03:21 Çin çip kısıtlaması: Sevkiyat durdu, bulut kapısı kapandı 03:21 Nadella 60 bin çalışan için ayrılma teklifini açıkladı 03:21 Gemini Mac bilgisayar kullanımı özelliği tanıtıldı 03:20 Anthropic Nasdaq’ta ilk gün: Hisse 111,50 dolardan açıldı Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 20.11.2026
Bülten

arXiv 2611.26627 cs.CV

Difüzyon Transformatörlerinde RL Sonrası Eğitim Aktivasyon Yönlendirmesidir

Özgün başlık RL Post-Training in Diffusion Transformers Is Activation Steering

  • Tuna Han Salih Meral
  • Kaan Oktay
  • Alec Helbling
  • Atakan Kara
  • Duen Horng Chau
  • Pinar Yanardag
ai/muhabir · özet metinden derlendi

Eğitim sonrası takviye öğrenimi (RL), difüzyon transformatörlerinin görsel kalitesini, metin oluşturmayı ve kompozisyon doğruluğunu önemli ölçüde artırır. İstenen metni oluşturma veya birden fazla nesne oluşturma gibi yetenekler doğası gereği istemlere bağlı olduğundan, doğal bir hipotez, bunları geliştirmenin karmaşık, girdiye bağlı dönüşümleri öğrenmeyi gerektirdiği yönündedir. Girişten bağımsız bir değişimin bu kazanımların ne kadarını açıkladığını izole etmek için, RL ayarlı her modeli kasıtlı olarak basit bir parametrelendirmeyle inceliyoruz: donmuş temel modelin blok çıktılarına eklenen sabit bir yönlendirme vektörleri seti.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Eğitim sonrası takviye öğrenimi (RL), difüzyon transformatörlerinin görsel kalitesini, metin oluşturmayı ve kompozisyon doğruluğunu önemli ölçüde artırır. İstenen metni oluşturma veya birden fazla nesne oluşturma gibi yetenekler doğası gereği istemlere bağlı olduğundan, doğal bir hipotez, bunları geliştirmenin karmaşık, girdiye bağlı dönüşümleri öğrenmeyi gerektirdiği yönündedir. Girişten bağımsız bir değişimin bu kazanımların ne kadarını açıkladığını izole etmek için, RL ayarlı her modeli kasıtlı olarak basit bir parametrelendirmeyle inceliyoruz: donmuş temel modelin blok çıktılarına eklenen sabit bir yönlendirme vektörleri seti. SD3.5-M'de bu vektörler, RL ayarlı LoRA'ya göre 65 kat daha az parametre tutar (18,8M'ye karşı 0,29M). Bunları, hedefte herhangi bir ödül olmadan, halka açık RL ayarlı kontrol noktalarının hız tahminleriyle eşleşecek şekilde uyarlıyoruz. Vektörler her istem, belirteç ve örnekleme tohumu için aynı olsa da, RL ayarlı altı görüntü modelindeki ödül kazanımlarının %90,0-96,3'ünü ve RL ayarlı iki video modelinde %89,8 ve %111,9'u kurtarırlar. Sıfırdan başlatılan ve çevrimiçi RL ile eğitilen vektörler, tek başına, SD3.5-M'de metin oluşturma (OCR) ve insan tercihi (PickScore) açısından ağırlığa dayalı RL'nin ödül kazanımlarını aşıyor. Dolayısıyla sürekli bir değişim, eğitim sonrası politika dereceli RL'nin kazancının çoğu için yeterlidir: girdiye bağlı yeni dönüşümler olmadan, önceden eğitilmiş jeneratörü halihazırda hesaplayabildiği şeye yönlendirir.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Reinforcement learning (RL) post-training substantially improves the visual quality, text rendering, and compositional accuracy of diffusion transformers. Because capabilities such as rendering requested text or composing multiple objects are inherently prompt-dependent, a natural hypothesis is that improving them requires learning complex, input-dependent transformations. To isolate how much of these gains an input-independent shift explains, we probe each RL-tuned model with a deliberately simple parameterization: a fixed set of steering vectors added to the block outputs of the frozen base model. On SD3.5-M, these vectors hold 65x fewer parameters than the RL-tuned LoRA (0.29M against 18.8M). We fit them to match the velocity predictions of public RL-tuned checkpoints, with no reward in the objective. Although the vectors are identical for every prompt, token, and sampling seed, they recover 90.0-96.3% of the reward gains of six RL-tuned image models, and 89.8% and 111.9% on two RL-tuned video models. Initialized at zero and trained with online RL, the vectors alone exceed the reward gains of weight-based RL on text rendering (OCR) and human preference (PickScore) on SD3.5-M. A constant shift thus suffices for most of the gain of policy-gradient RL post-training: without new input-dependent transformations, it steers the pretrained generator toward what it can already compute.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{meral2026rl,
  title   = {RL Post-Training in Diffusion Transformers Is Activation Steering},
  author  = {Tuna Han Salih Meral and Kaan Oktay and Alec Helbling and Atakan Kara and Duen Horng Chau and Pinar Yanardag},
  journal = {arXiv preprint arXiv:2611.26627},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.26627}
}
APA
Meral, T. H. S., Oktay, K., Helbling, A., Kara, A., Chau, D. H., & Yanardag, P. (2026). Difüzyon Transformatörlerinde RL Sonrası Eğitim Aktivasyon Yönlendirmesidir. arXiv. https://arxiv.org/abs/2611.26627
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.