İçeriğe geç
CANLI 3 sa önce Claude artık video konferanslara katılabiliyor! 2 gün önce Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 9 Kas 2026 Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 17.11.2026
Bülten

arXiv 2611.18550 cs.CV

Etkinleştirmeleri İnceleyerek Damıtılmış Görüntü ve Video Oluşturucularda Çeşitliliği Geri Kazanma

Özgün başlık Restoring Diversity in Distilled Image and Video Generators by Probing Activations

  • Furkan Horoz
  • Ozgur Kara
  • Kaan Oktay
  • Adil Kaan Akan
  • Atakan Kara
  • Anand Bhattad
  • James Matthew Rehg
ai/muhabir · özet metinden derlendi

Difüzyon modellerinin birkaç adımlı öğrenci modelleri halinde damıtılması, örnekleme gecikmesini önemli ölçüde azaltır, ancak ciddi çeşitlilik çöküşüne neden olur: farklı rastgele tohumlardan oluşturulan örnekler minimum çeşitlilik gösterir. Bu çalışmada, öğrenci modellerinin öğretmenlerine göre içsel temsillerini inceleyerek bu başarısızlığın temel nedenini araştırıyoruz. Damıtılmış öğrencilerin, öğretmenleriyle karşılaştırılabilir toplam aktivasyon varyansını koruduklarını, ancak bunu önemli ölçüde daha az yöne yoğunlaştırdıklarını bulduk.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Difüzyon modellerinin birkaç adımlı öğrenci modelleri halinde damıtılması, örnekleme gecikmesini önemli ölçüde azaltır, ancak ciddi çeşitlilik çöküşüne neden olur: farklı rastgele tohumlardan oluşturulan örnekler minimum çeşitlilik gösterir. Bu çalışmada, öğrenci modellerinin öğretmenlerine göre içsel temsillerini inceleyerek bu başarısızlığın temel nedenini araştırıyoruz. Damıtılmış öğrencilerin, öğretmenleriyle karşılaştırılabilir toplam aktivasyon varyansını koruduklarını, ancak bunu önemli ölçüde daha az yöne yoğunlaştırdıklarını bulduk. Bu yönlü çökme, ilk gürültü giderme adımında tanımlanabilir bir ara bloğa lokalize edilir. Sonuç olarak çeşitlilik çöküşü, üretken kapasitenin doğal kaybından ziyade, aktivasyon varyansının yanlış tahsisinden kaynaklanmaktadır. Bu bulgunun rehberliğinde, eksik sapma yönlerini eski haline getirmek için ReDiverse'ü öneriyoruz. ReDiverse-FT, eğitim sırasında öğrenci aktivasyonlarını öğretmenin üzerine gerileyen hafif bir adaptöre ince ayar yaparak öğretmenin özellik varyans karakteristiğini canlandırıyor. Çıkarım zamanında, ReDiverse-TF, aktivasyonları önceden hesaplanmış öğretmen müdürü talimatları doğrultusunda yönlendiren, eğitim gerektirmeyen bir mekanizma sunar. Görüntü ve video damıtma kıyaslamalarında ReDiverse, kullanıcı çalışmasıyla da desteklenen üretim kalitesini korurken örnek çeşitliliğini tutarlı bir şekilde geri yükler.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Distilling diffusion models into few-step student models substantially reduces sampling latency, but induces severe diversity collapse: samples generated from different random seeds show minimal variation. In this work, we investigate the root cause of this failure by probing the internal representations of student models relative to their teachers. We find that distilled students maintain total activation variance comparable to their teachers, but concentrate it into substantially fewer directions. This directional collapse is localized to an identifiable intermediate block at the initial denoising step. Consequently, diversity collapse stems from a misallocation of activation variance rather than an inherent loss of generative capacity. Guided by this finding, we propose ReDiverse to reinstate the missing variance directions. At training time, ReDiverse-FT fine-tunes a lightweight adapter that regresses student activations onto the teacher's, reviving the teacher's feature variance characteristic. At inference time, ReDiverse-TF introduces a training-free mechanism that steers activations along precomputed teacher principal directions. Across image and video distillation benchmarks, ReDiverse consistently restores sample diversity while preserving generation quality, further supported by the user study.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{horoz2026restoring,
  title   = {Restoring Diversity in Distilled Image and Video Generators by Probing Activations},
  author  = {Furkan Horoz and Ozgur Kara and Kaan Oktay and Adil Kaan Akan and Atakan Kara and Anand Bhattad and James Matthew Rehg},
  journal = {arXiv preprint arXiv:2611.18550},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.18550}
}
APA
Horoz, F., Kara, O., Oktay, K., Akan, A. K., Kara, A., Bhattad, A., & Rehg, J. M. (2026). Etkinleştirmeleri İnceleyerek Damıtılmış Görüntü ve Video Oluşturucularda Çeşitliliği Geri Kazanma. arXiv. https://arxiv.org/abs/2611.18550
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.