İçeriğe geç
CANLI 05:12 Hugging Face, dil modeli çıkarım yönlendirmesini OpenRouter’a geçirdi 05:12 FBI, açık kaynaklı AI saldırı aracı Artex’in saatler içinde ağları ele geçirdiğini duyurdu 05:12 ABD, Çin şirketlerinin yurt dışından uzaktan AI çip gücüne erişimini sıkılaştırıyor 05:12 Kaliforniya başsavcısı, kontrolsüz AI ajanları gerekçesiyle OpenAI’ye dava açtı 05:12 Tencent Hy4 flash: 224 milyar parametreli, günlük işler için daha ucuz çok kipli model Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 17.11.2026
Bülten

arXiv 2611.21596 cs.RO

SADL: Temsil Çöküşünün Arz-Talep Geometrisi Üzerine

Özgün başlık SADL: On the Demand-Supply Geometry of Representation Collapse

  • Junhan Sun
  • Yigui Feng
  • Mingzhe Liu
  • Haoyan Xu
  • Lei Ye
  • Ziqi Han
  • Hanru Bai
  • Yanzhao Zhang
  • Hao Zhao
  • Guofeng Zhang
ai/muhabir · özet metinden derlendi

Ortak Gömülü Tahmin Mimarilerinde (JEPA'lar), iyi sınırlandırılmış bir projektör çıkışı tek başına temsilin çökmesini engellemez. Başlatma işleminden itibaren kodlayıcı gösteriminin, farklı girdiler tarafından paylaşılan bir bileşenin hakimiyetinde olduğunu bulduk. Toplu olarak normalleştirilmiş bir projektör bu bileşeni kaldırır, dolayısıyla projektörden sonraki düzenleme bunu düzeltemez ve gösterimler arasındaki farklar çökene kadar küçülür.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Ortak Gömülü Tahmin Mimarilerinde (JEPA'lar), iyi sınırlandırılmış bir projektör çıkışı tek başına temsilin çökmesini engellemez. Başlatma işleminden itibaren kodlayıcı gösteriminin, farklı girdiler tarafından paylaşılan bir bileşenin hakimiyetinde olduğunu bulduk. Toplu olarak normalleştirilmiş bir projektör bu bileşeni kaldırır, dolayısıyla projektörden sonraki düzenleme bunu düzeltemez ve gösterimler arasındaki farklar çökene kadar küçülür. Orijinal eğitim hedefini koruyan ve gerektiğinde kodlayıcıyı doğrudan kısıtlayan SADL'yi (Arz ve Talep Kaybı) öneriyoruz. SADL, projektör çıkışının talep ettiği temsil farklılıklarını kodlayıcının tutabileceği ve projektöre aktarabileceği farklarla karşılaştırır ve yalnızca arz talebin altına düştüğünde kodlayıcıya bir kısıtlama ekler. Farklı Talep Düzenleyicilerle çalışır ve hiçbir yardımcı ağ, ek eğitilebilir parametreler veya mimari değişiklikler sunmaz. Tek görevli ve ortaklaşa eğitilmiş dört görevli LeWorldModel (LeWM) ve INTACT deneylerinde SADL, on rastgele tohumdaki çökme oranını %50'den %0'a düşürür. Bir eğitim döneminden sonra kodlayıcı etkin sıralaması, SADL'siz karşılık gelen taban çizgisinin 3,4-6,4 katı olur ve gizli tahmin hatası bunun 1/20-1/303'üne düşer. SADL, ek ayarlama olmadan, kayıp ağırlığı büyük mertebelere yayıldığı için sağlam kalır ve çeşitli Talep Düzenleyiciler INTACT ile ortalama arama gerektirmeyen kontrol başarısının %95'ini aşar. Dört görüntü veri kümesinde SADL, rastgele tohumlamalarda doğruluğu ve kararlılığı da sürekli olarak artırır. Bu sonuçlar, bir düzenleyicinin talep ettiği temsil farklılıklarının kodlayıcının sağlayabileceği farklılıklarla eşleştirilmesinin, kontrol ve görüntü sınıflandırmasında temsil öğreniminin daha hızlı ve daha kararlı olmasına yol açtığını göstermektedir.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

In Joint-Embedding Predictive Architectures (JEPAs), a well-constrained projector output does not by itself prevent representation collapse. We find that, from initialization, the encoder representation is dominated by a component shared by different inputs. A batch-normalized projector removes this component, so regularization after the projector cannot correct it, and the differences between representations shrink until they collapse. We propose SADL (Supply And Demand Loss), which keeps the original training objective and constrains the encoder directly when needed. SADL compares the representation differences that the projector output demands with the differences the encoder can retain and pass on to the projector, and adds a constraint on the encoder only when supply falls short of demand. It works with different Demand Regularizers and introduces no auxiliary networks, additional trainable parameters, or architectural changes. In single-task and jointly trained four-task LeWorldModel (LeWM) and INTACT experiments, SADL lowers the collapse rate over ten random seeds from 50% to 0%. After one epoch of training, encoder effective rank is 3.4-6.4 times that of the corresponding baseline without SADL, and latent prediction error falls to 1/20-1/303 of it. Without additional tuning, SADL stays robust as its loss weight spans orders of magnitude, and with several Demand Regularizers INTACT exceeds 95% mean search-free control success. On four image datasets, SADL also consistently improves accuracy and stability across random seeds. These results show that matching the representation differences a regularizer demands with the differences the encoder can supply leads to faster and more stable representation learning in control and image classification.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{sun2026sadl,
  title   = {SADL: On the Demand-Supply Geometry of Representation Collapse},
  author  = {Junhan Sun and Yigui Feng and Mingzhe Liu and Haoyan Xu and Lei Ye and Ziqi Han and Hanru Bai and Yanzhao Zhang and Hao Zhao and Guofeng Zhang},
  journal = {arXiv preprint arXiv:2611.21596},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.21596}
}
APA
Sun, J., Feng, Y., Liu, M., Xu, H., Ye, L., Han, Z., Bai, H., Zhang, Y., Zhao, H., & Zhang, G. (2026). SADL: Temsil Çöküşünün Arz-Talep Geometrisi Üzerine. arXiv. https://arxiv.org/abs/2611.21596
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.