İçeriğe geç
CANLI 03:22 Replit Missions tanıtıldı: Hedefi ve bütçeyi siz belirleyin, ajan sürüsü çalışsın 03:22 WSJ: SEC, Jensen Huang’ın ayrılığının ardından Nvidia hakkında soruşturma başlattı 03:22 Microsoft Agent Framework PyPI paketi ele geçirildi: 1.26.1 ve 1.26.2 kimlik bilgisi çalıyor 03:22 Gemini Tasks ücretsiz oldu: Gemini artık arama yapıp alışveriş yapabiliyor 03:21 Microsoft Ignite 2026’da yedi MAI modeli tanıttı: MAI Code 2 ile ucuz kodlama hamlesi Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 18.11.2026
Bülten

arXiv 2611.23197 cs.CL

Yapı - Dil Modeli Ön Eğitimi için Artık Tümevarımsal Önyargılar

Özgün başlık Structure--Residual Inductive Biases for Language Model Pretraining

  • Hai Huang
  • Bartosz Żuk
  • Rassul Magauin
  • Jiaxin Huang
  • Xue Liu
ai/muhabir · özet metinden derlendi

Sonraki belirteç tahminine, hem öngörücü davranışı hem de dahili temsilleri öğrenmek için güvenilir. Temsil yapısının kendisinin açık bir tümevarımsal önyargı olması gerekip gerekmediğini soruyoruz. Kolmogorov karmaşıklığının iki parçalı kodlama görüşünden hareketle, bir temsilin yapıyı gerçekleşme ayrıntılarından ayırdığı bir yapı-artık ilkesi üzerinde çalışıyoruz.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Sonraki belirteç tahminine, hem öngörücü davranışı hem de dahili temsilleri öğrenmek için güvenilir. Temsil yapısının kendisinin açık bir tümevarımsal önyargı olması gerekip gerekmediğini soruyoruz. Kolmogorov karmaşıklığının iki parçalı kodlama görüşünden hareketle, bir temsilin yapıyı gerçekleşme ayrıntılarından ayırdığı bir yapı-artık ilkesi üzerinde çalışıyoruz. Bu prensibi birbirini tamamlayan iki yolla somutlaştırıyoruz. Sınır Darboğaz Kavramı (BBC), yerel otoregresif hesaplamayı korurken, simge parçalarından gelen bilgileri sınır taşıyıcıları aracılığıyla yönlendirir. Sürekli Konsept (CC), temsil geometrisini düzenler ve düşük frekanslı yapı ve yüksek frekanslı kalıntı şeklinde spektral bir ayrışmaya neden olur. Her iki görüş için de kodlama sınırları türetiyoruz ve çokluk düzeltmeli sınır dikkatinin, bölüm içi yol enerjisi yok oldukça kesin hale geldiğini gösteriyoruz. Deneysel olarak, BBC ve CC çarpıcı biçimde farklı derinlik tercihleri ​​sergiler: BBC ilk katmanlarda en iyi şekilde çalışır, CC ise daha sonraki katmanlarda en etkilidir. 300 milyon eğitim tokeninde BBC ve CC'nin birleştirilmesi, GPT-2 Medium'da NLL'yi %1,44 oranında artırıyor. Bu kazanımlar, 20 milyar tokene kadar olan eğitim çalışmaları ile devam ediyor. Temsil teşhisleri, BBC'nin sınır durumlarının göreceli öngörücü önemini arttırdığını, CC'nin ise spektral artık enerjiyi azalttığını göstermektedir. Birlikte, bu sonuçlar, yapı-artık önyargıların, bir sonraki belirteç tahmininin ötesinde dil-modeli ön eğitimini geliştirebileceğini göstermektedir. Kod: https://github.com/haihuang-ml/structure-residual

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Next-token prediction is relied upon to learn both predictive behavior and internal representations. We ask whether representation structure itself should be an explicit inductive bias. Motivated by the two-part coding view of Kolmogorov complexity, we study a structure--residual principle in which a representation separates structure from realization detail. We instantiate this principle in two complementary ways. Boundary Bottleneck Concept (BBC) routes information from token segments through boundary carriers while preserving local autoregressive computation. Continuous Concept (CC) regularizes representation geometry and induces a spectral decomposition into low-frequency structure and high-frequency residual. We derive coding bounds for both views and show that multiplicity-corrected boundary attention becomes exact as the within-segment path energy vanishes. Empirically, BBC and CC exhibit strikingly different depth preferences: BBC works best in early layers, whereas CC is most effective in later layers. At 300M training tokens, combining BBC and CC improves NLL by 1.44% on GPT-2 Medium. These gains persist with training runs up to 20B tokens. Representation diagnostics show that BBC increases the relative predictive importance of boundary states, while CC reduces spectral residual energy. Together, these results suggest that structure--residual biases can improve language-model pretraining beyond next-token prediction. Code: https://github.com/haihuang-ml/structure-residual

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{huang2026structureresidual,
  title   = {Structure--Residual Inductive Biases for Language Model Pretraining},
  author  = {Hai Huang and Bartosz Żuk and Rassul Magauin and Jiaxin Huang and Xue Liu},
  journal = {arXiv preprint arXiv:2611.23197},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.23197}
}
APA
Huang, H., Żuk, B., Magauin, R., Huang, J., & Liu, X. (2026). Yapı - Dil Modeli Ön Eğitimi için Artık Tümevarımsal Önyargılar. arXiv. https://arxiv.org/abs/2611.23197
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.