Ortak Gömülü Tahmin Mimarilerinde (JEPA'lar), iyi sınırlandırılmış bir projektör çıkışı tek başına temsilin çökmesini engellemez. Başlatma işleminden itibaren kodlayıcı gösteriminin, farklı girdiler tarafından paylaşılan bir bileşenin hakimiyetinde olduğunu bulduk. Toplu olarak normalleştirilmiş bir projektör bu bileşeni kaldırır, dolayısıyla projektörden sonraki düzenleme bunu düzeltemez ve gösterimler arasındaki farklar çökene kadar küçülür.
- Ortak Gömülü Tahmin Mimarilerinde (JEPA'lar), iyi sınırlandırılmış bir projektör çıkışı tek başına temsilin çökmesini engellemez.
- Başlatma işleminden itibaren kodlayıcı gösteriminin, farklı girdiler tarafından paylaşılan bir bileşenin hakimiyetinde olduğunu bulduk.
- Toplu olarak normalleştirilmiş bir projektör bu bileşeni kaldırır, dolayısıyla projektörden sonraki düzenleme bunu düzeltemez ve gösterimler arasındaki farklar çökene kadar küçülür.
Ortak Gömülü Tahmin Mimarilerinde (JEPA'lar), iyi sınırlandırılmış bir projektör çıkışı tek başına temsilin çökmesini engellemez.
02 Özet
Ortak Gömülü Tahmin Mimarilerinde (JEPA'lar), iyi sınırlandırılmış bir projektör çıkışı tek başına temsilin çökmesini engellemez. Başlatma işleminden itibaren kodlayıcı gösteriminin, farklı girdiler tarafından paylaşılan bir bileşenin hakimiyetinde olduğunu bulduk. Toplu olarak normalleştirilmiş bir projektör bu bileşeni kaldırır, dolayısıyla projektörden sonraki düzenleme bunu düzeltemez ve gösterimler arasındaki farklar çökene kadar küçülür. Orijinal eğitim hedefini koruyan ve gerektiğinde kodlayıcıyı doğrudan kısıtlayan SADL'yi (Arz ve Talep Kaybı) öneriyoruz. SADL, projektör çıkışının talep ettiği temsil farklılıklarını kodlayıcının tutabileceği ve projektöre aktarabileceği farklarla karşılaştırır ve yalnızca arz talebin altına düştüğünde kodlayıcıya bir kısıtlama ekler. Farklı Talep Düzenleyicilerle çalışır ve hiçbir yardımcı ağ, ek eğitilebilir parametreler veya mimari değişiklikler sunmaz. Tek görevli ve ortaklaşa eğitilmiş dört görevli LeWorldModel (LeWM) ve INTACT deneylerinde SADL, on rastgele tohumdaki çökme oranını %50'den %0'a düşürür. Bir eğitim döneminden sonra kodlayıcı etkin sıralaması, SADL'siz karşılık gelen taban çizgisinin 3,4-6,4 katı olur ve gizli tahmin hatası bunun 1/20-1/303'üne düşer. SADL, ek ayarlama olmadan, kayıp ağırlığı büyük mertebelere yayıldığı için sağlam kalır ve çeşitli Talep Düzenleyiciler INTACT ile ortalama arama gerektirmeyen kontrol başarısının %95'ini aşar. Dört görüntü veri kümesinde SADL, rastgele tohumlamalarda doğruluğu ve kararlılığı da sürekli olarak artırır. Bu sonuçlar, bir düzenleyicinin talep ettiği temsil farklılıklarının kodlayıcının sağlayabileceği farklılıklarla eşleştirilmesinin, kontrol ve görüntü sınıflandırmasında temsil öğreniminin daha hızlı ve daha kararlı olmasına yol açtığını göstermektedir.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
In Joint-Embedding Predictive Architectures (JEPAs), a well-constrained projector output does not by itself prevent representation collapse. We find that, from initialization, the encoder representation is dominated by a component shared by different inputs. A batch-normalized projector removes this component, so regularization after the projector cannot correct it, and the differences between representations shrink until they collapse. We propose SADL (Supply And Demand Loss), which keeps the original training objective and constrains the encoder directly when needed. SADL compares the representation differences that the projector output demands with the differences the encoder can retain and pass on to the projector, and adds a constraint on the encoder only when supply falls short of demand. It works with different Demand Regularizers and introduces no auxiliary networks, additional trainable parameters, or architectural changes. In single-task and jointly trained four-task LeWorldModel (LeWM) and INTACT experiments, SADL lowers the collapse rate over ten random seeds from 50% to 0%. After one epoch of training, encoder effective rank is 3.4-6.4 times that of the corresponding baseline without SADL, and latent prediction error falls to 1/20-1/303 of it. Without additional tuning, SADL stays robust as its loss weight spans orders of magnitude, and with several Demand Regularizers INTACT exceeds 95% mean search-free control success. On four image datasets, SADL also consistently improves accuracy and stability across random seeds. These results show that matching the representation differences a regularizer demands with the differences the encoder can supply leads to faster and more stable representation learning in control and image classification.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{sun2026sadl,
title = {SADL: On the Demand-Supply Geometry of Representation Collapse},
author = {Junhan Sun and Yigui Feng and Mingzhe Liu and Haoyan Xu and Lei Ye and Ziqi Han and Hanru Bai and Yanzhao Zhang and Hao Zhao and Guofeng Zhang},
journal = {arXiv preprint arXiv:2611.21596},
year = {2026},
url = {https://arxiv.org/abs/2611.21596}
}
Sun, J., Feng, Y., Liu, M., Xu, H., Ye, L., Han, Z., Bai, H., Zhang, Y., Zhao, H., & Zhang, G. (2026). SADL: Temsil Çöküşünün Arz-Talep Geometrisi Üzerine. arXiv. https://arxiv.org/abs/2611.21596
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın