Dil modelleri genellikle daha derin veya döngülü katmanlar ve gizli akıl yürütme adımları aracılığıyla simge başına hesaplamayı artırırken, daha zengin artık bağlantılar katmanlar arasındaki bilgi akışını iyileştirir. Bunun yerine hesaplama kapasitesini artırıyoruz: bir modelin koruduğu aktif hesaplama durumlarının sayısı. Derinlik boyunca akan dikey artık akışın yanı sıra, zaman boyunca yinelenen bir dizi katman başına yatay gizli akıştan oluşan Gizli Kafes'i tanıtıyoruz.
- Dil modelleri genellikle daha derin veya döngülü katmanlar ve gizli akıl yürütme adımları aracılığıyla simge başına hesaplamayı artırırken, daha zengin artık bağlantılar katmanlar arasındaki bilgi akışını iyileştirir.
- Bunun yerine hesaplama kapasitesini artırıyoruz: bir modelin koruduğu aktif hesaplama durumlarının sayısı.
- Derinlik boyunca akan dikey artık akışın yanı sıra, zaman boyunca yinelenen bir dizi katman başına yatay gizli akıştan oluşan Gizli Kafes'i tanıtıyoruz.
Dil modelleri genellikle daha derin veya döngülü katmanlar ve gizli akıl yürütme adımları aracılığıyla simge başına hesaplamayı artırırken, daha zengin artık bağlantılar katmanlar arasındaki bilgi akışını iyileştirir.
02 Özet
Dil modelleri genellikle daha derin veya döngülü katmanlar ve gizli akıl yürütme adımları aracılığıyla simge başına hesaplamayı artırırken, daha zengin artık bağlantılar katmanlar arasındaki bilgi akışını iyileştirir. Bunun yerine hesaplama kapasitesini artırıyoruz: bir modelin koruduğu aktif hesaplama durumlarının sayısı. Derinlik boyunca akan dikey artık akışın yanı sıra, zaman boyunca yinelenen bir dizi katman başına yatay gizli akıştan oluşan Gizli Kafes'i tanıtıyoruz. Like hyper-connections, mHC, and attention or value residuals, the Lattice enhances the residual stream, but rather than adding or rerouting residual pathways through depth, it provides companion computational states that persist across tokens. Unlike hybrid Transformer-SSM architectures, whose recurrent states primarily serve as internal memory for sequence mixing, these latents directly condition the vertical stream's attention, KV-cache writes, MLP computation, and decoding. On Transformers trained on 20B FineWeb-Edu tokens, a 406M-parameter Lattice model lowers validation perplexity from 15.41 to 14.40 over a parameter-matched Transformer. Bu kazanımlar mimari değişkenlere kadar uzanır. The Lattice composes with prior residual-stream enhancements: with hyper-connections and input residuals, it lowers validation perplexity from 15.41 (base Transformer) and 14.22 (Transformer with the same enhancements) to 13.61. Gated DeltaNet, Mamba-2, Triadic GDN ve GDN-Mamba-2 hibritlerinde, Lattice-GDN ve Lattice-Triadic-GDN varyantlarının 4 kat daha büyük yerel durumlarla saf temel çizgilerden daha iyi performans göstermesiyle test edilen her yerel durum boyutunda kafa karışıklığını artırır. Bu sonuçlar, dil modeli hesaplamasını ölçeklendirmek için katman başına kalıcı durumu tamamlayıcı bir eksen olarak tanımlar.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Language models typically increase per-token computation through deeper or looped layers and latent reasoning steps, while richer residual connections improve information flow across layers. We instead increase computational capacity: the number of active computational states a model maintains. We introduce the Lattice of Latents, a set of per-layer horizontal latent streams that run recurrently along time, alongside the vertical residual stream that flows through depth. Like hyper-connections, mHC, and attention or value residuals, the Lattice enhances the residual stream, but rather than adding or rerouting residual pathways through depth, it provides companion computational states that persist across tokens. Unlike hybrid Transformer-SSM architectures, whose recurrent states primarily serve as internal memory for sequence mixing, these latents directly condition the vertical stream's attention, KV-cache writes, MLP computation, and decoding. On Transformers trained on 20B FineWeb-Edu tokens, a 406M-parameter Lattice model lowers validation perplexity from 15.41 to 14.40 over a parameter-matched Transformer. These gains extend across architectural variants. The Lattice composes with prior residual-stream enhancements: with hyper-connections and input residuals, it lowers validation perplexity from 15.41 (base Transformer) and 14.22 (Transformer with the same enhancements) to 13.61. On Gated DeltaNet, Mamba-2, Triadic GDN, and GDN-Mamba-2 hybrids, it improves perplexity at every tested native state size, with Lattice-GDN and Lattice-Triadic-GDN variants outperforming pure baselines with 4x larger native states. These results identify persistent per-layer state as a complementary axis for scaling language-model computation.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{duggal2026latent,
title = {Latent Lattice Language Models},
author = {Shivam Duggal and Zongze Wu and William T. Freeman and Antonio Torralba and Richard Zhang and Eli Shechtman},
journal = {arXiv preprint arXiv:2611.21608},
year = {2026},
url = {https://arxiv.org/abs/2611.21608}
}
Duggal, S., Wu, Z., Freeman, W. T., Torralba, A., Zhang, R., & Shechtman, E. (2026). Gizli Kafes Dil Modelleri. arXiv. https://arxiv.org/abs/2611.21608
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın