İçeriğe geç
CANLI 05:12 Hugging Face, dil modeli çıkarım yönlendirmesini OpenRouter’a geçirdi 05:12 FBI, açık kaynaklı AI saldırı aracı Artex’in saatler içinde ağları ele geçirdiğini duyurdu 05:12 ABD, Çin şirketlerinin yurt dışından uzaktan AI çip gücüne erişimini sıkılaştırıyor 05:12 Kaliforniya başsavcısı, kontrolsüz AI ajanları gerekçesiyle OpenAI’ye dava açtı 05:12 Tencent Hy4 flash: 224 milyar parametreli, günlük işler için daha ucuz çok kipli model Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 17.11.2026
Bülten

arXiv 2611.21608 cs.LG

Gizli Kafes Dil Modelleri

Özgün başlık Latent Lattice Language Models

  • Shivam Duggal
  • Zongze Wu
  • William T. Freeman
  • Antonio Torralba
  • Richard Zhang
  • Eli Shechtman
ai/muhabir · özet metinden derlendi

Dil modelleri genellikle daha derin veya döngülü katmanlar ve gizli akıl yürütme adımları aracılığıyla simge başına hesaplamayı artırırken, daha zengin artık bağlantılar katmanlar arasındaki bilgi akışını iyileştirir. Bunun yerine hesaplama kapasitesini artırıyoruz: bir modelin koruduğu aktif hesaplama durumlarının sayısı. Derinlik boyunca akan dikey artık akışın yanı sıra, zaman boyunca yinelenen bir dizi katman başına yatay gizli akıştan oluşan Gizli Kafes'i tanıtıyoruz.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Dil modelleri genellikle daha derin veya döngülü katmanlar ve gizli akıl yürütme adımları aracılığıyla simge başına hesaplamayı artırırken, daha zengin artık bağlantılar katmanlar arasındaki bilgi akışını iyileştirir. Bunun yerine hesaplama kapasitesini artırıyoruz: bir modelin koruduğu aktif hesaplama durumlarının sayısı. Derinlik boyunca akan dikey artık akışın yanı sıra, zaman boyunca yinelenen bir dizi katman başına yatay gizli akıştan oluşan Gizli Kafes'i tanıtıyoruz. Like hyper-connections, mHC, and attention or value residuals, the Lattice enhances the residual stream, but rather than adding or rerouting residual pathways through depth, it provides companion computational states that persist across tokens. Unlike hybrid Transformer-SSM architectures, whose recurrent states primarily serve as internal memory for sequence mixing, these latents directly condition the vertical stream's attention, KV-cache writes, MLP computation, and decoding. On Transformers trained on 20B FineWeb-Edu tokens, a 406M-parameter Lattice model lowers validation perplexity from 15.41 to 14.40 over a parameter-matched Transformer. Bu kazanımlar mimari değişkenlere kadar uzanır. The Lattice composes with prior residual-stream enhancements: with hyper-connections and input residuals, it lowers validation perplexity from 15.41 (base Transformer) and 14.22 (Transformer with the same enhancements) to 13.61. Gated DeltaNet, Mamba-2, Triadic GDN ve GDN-Mamba-2 hibritlerinde, Lattice-GDN ve Lattice-Triadic-GDN varyantlarının 4 kat daha büyük yerel durumlarla saf temel çizgilerden daha iyi performans göstermesiyle test edilen her yerel durum boyutunda kafa karışıklığını artırır. Bu sonuçlar, dil modeli hesaplamasını ölçeklendirmek için katman başına kalıcı durumu tamamlayıcı bir eksen olarak tanımlar.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Language models typically increase per-token computation through deeper or looped layers and latent reasoning steps, while richer residual connections improve information flow across layers. We instead increase computational capacity: the number of active computational states a model maintains. We introduce the Lattice of Latents, a set of per-layer horizontal latent streams that run recurrently along time, alongside the vertical residual stream that flows through depth. Like hyper-connections, mHC, and attention or value residuals, the Lattice enhances the residual stream, but rather than adding or rerouting residual pathways through depth, it provides companion computational states that persist across tokens. Unlike hybrid Transformer-SSM architectures, whose recurrent states primarily serve as internal memory for sequence mixing, these latents directly condition the vertical stream's attention, KV-cache writes, MLP computation, and decoding. On Transformers trained on 20B FineWeb-Edu tokens, a 406M-parameter Lattice model lowers validation perplexity from 15.41 to 14.40 over a parameter-matched Transformer. These gains extend across architectural variants. The Lattice composes with prior residual-stream enhancements: with hyper-connections and input residuals, it lowers validation perplexity from 15.41 (base Transformer) and 14.22 (Transformer with the same enhancements) to 13.61. On Gated DeltaNet, Mamba-2, Triadic GDN, and GDN-Mamba-2 hybrids, it improves perplexity at every tested native state size, with Lattice-GDN and Lattice-Triadic-GDN variants outperforming pure baselines with 4x larger native states. These results identify persistent per-layer state as a complementary axis for scaling language-model computation.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{duggal2026latent,
  title   = {Latent Lattice Language Models},
  author  = {Shivam Duggal and Zongze Wu and William T. Freeman and Antonio Torralba and Richard Zhang and Eli Shechtman},
  journal = {arXiv preprint arXiv:2611.21608},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.21608}
}
APA
Duggal, S., Wu, Z., Freeman, W. T., Torralba, A., Zhang, R., & Shechtman, E. (2026). Gizli Kafes Dil Modelleri. arXiv. https://arxiv.org/abs/2611.21608
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.