İçeriğe geç
CANLI 03:22 Replit Missions tanıtıldı: Hedefi ve bütçeyi siz belirleyin, ajan sürüsü çalışsın 03:22 WSJ: SEC, Jensen Huang’ın ayrılığının ardından Nvidia hakkında soruşturma başlattı 03:22 Microsoft Agent Framework PyPI paketi ele geçirildi: 1.26.1 ve 1.26.2 kimlik bilgisi çalıyor 03:22 Gemini Tasks ücretsiz oldu: Gemini artık arama yapıp alışveriş yapabiliyor 03:21 Microsoft Ignite 2026’da yedi MAI modeli tanıttı: MAI Code 2 ile ucuz kodlama hamlesi Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 18.11.2026
Bülten

arXiv 2611.21559 cs.CV

Referans Zorlama: Bölge Kılavuzlu Kayma Düzeltme ile Uzun Video Oluşturma

Özgün başlık Reference Forcing: Long Video Generation with Region-Guided Drift Correction

  • Sheng Zhao
  • Haitian Zheng
  • Weikai Lin
  • Junjie Zhao
  • Yuhao Zhu
ai/muhabir · özet metinden derlendi

Uzun video oluşturma, zengin, doğal hareketi desteklerken konuyu ve arka planı tutarlı tutmalıdır. Bununla birlikte, otoregresif modeller genellikle kısa pencereler üzerinde dağıtım eşleştirme damıtma (DMD) ile damıtılır, bu da onları uzun aralıklarda bu tutarlılığı koruma konusunda eğitmez. Sonuç olarak konu ve arka plan zamanla kayabilir.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Uzun video oluşturma, zengin, doğal hareketi desteklerken konuyu ve arka planı tutarlı tutmalıdır. Bununla birlikte, otoregresif modeller genellikle kısa pencereler üzerinde dağıtım eşleştirme damıtma (DMD) ile damıtılır, bu da onları uzun aralıklarda bu tutarlılığı koruma konusunda eğitmez. Sonuç olarak konu ve arka plan zamanla kayabilir. Anahtar-değer (KV) önbelleğini yöneten yöntemler, kaymayı azaltmak için geçmişi korur veya alır. Ancak bu tarihin kendisi de sürüklenmiş olabilir. Başlangıç ​​çerçevelerini görünüm referansı olarak kullanan Referans Zorlamayı öneriyoruz. Öncelikle yeni bir çerçevenin her bölgesini ilk karelerdeki aynı bölgeye gitmeye zorlamak için dikkat maskelerini kullanan bir öğretmen oluşturuyoruz. Öğretmen bu bölgeleri hazır segmentasyon modelleriyle bulur. Daha sonra bu davranışı, çıkarımda hiçbir dış modele ihtiyaç duymayan, öğrencinin ayrı bir dikkat yoluna damıtıyoruz. Ayrıca, KV önbelleğindeki sürüklenen değerleri, kaymayan başlangıç ​​karelerinin eşleşen değerlerine doğru düzelten değer düzeltmeyi de sunuyoruz. Deneyler, Referans Zorlamanın, farklı temel modellerde uzun video yöntemleri arasında en son teknolojiye sahip konu ve arka plan tutarlılığını sağladığını ve avantajının video uzunluğuyla birlikte arttığını göstermektedir. Ablasyonlar, hareketi kaybetmeden tutarlılık kazanmak için her iki bileşenin de gerekli olduğunu göstermektedir. Daha fazla görselleştirme ve koda https://zhaosheng-thu.github.io/reference-force/ adresinden ulaşabilirsiniz.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Long video generation should keep the subject and background consistent while supporting rich, natural motion. However, autoregressive models are often distilled with distribution matching distillation (DMD) over short windows, which does not train them to keep this consistency over long ranges. As a result, the subject and background can drift over time. Methods that manage the key-value (KV) cache retain or retrieve history to reduce drift. Yet this history may itself have drifted. We propose Reference Forcing, which uses the initial frames as an appearance reference. We first build a teacher that uses attention masks to force each region of a new frame to attend to the same region in the initial frames. The teacher finds these regions with off-the-shelf segmentation models. We then distill this behavior into a separate attention path of the student, which needs no external models at inference. We further introduce value correction, which corrects drifted values in the KV cache toward the matching values of drift-free initial frames. Experiments show that Reference Forcing achieves state-of-the-art subject and background consistency among long-video methods on different base models, and its advantage grows with video length. Ablations show both components are needed to gain consistency without losing motion. More visualizations and code are available at https://zhaosheng-thu.github.io/reference-force/

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{zhao2026reference,
  title   = {Reference Forcing: Long Video Generation with Region-Guided Drift Correction},
  author  = {Sheng Zhao and Haitian Zheng and Weikai Lin and Junjie Zhao and Yuhao Zhu},
  journal = {arXiv preprint arXiv:2611.21559},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.21559}
}
APA
Zhao, S., Zheng, H., Lin, W., Zhao, J., & Zhu, Y. (2026). Referans Zorlama: Bölge Kılavuzlu Kayma Düzeltme ile Uzun Video Oluşturma. arXiv. https://arxiv.org/abs/2611.21559
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.