İçeriğe geç
CANLI 03:24 OpenAI raporu: Ajanlar 2-4 saatlik araştırma görevlerinin neredeyse yarısını tek başına bitiriyor 03:24 Google, Genie 4 dünya modelini Project Genie ile Ultra abonelerine açtı 03:23 NGINX’te HTTP/2 kaynaklı iki kritik uzaktan kod çalıştırma açığı: Güncelleme şart 03:23 Nvidia Çin’e H200 satışını durdurdu, yönetim kurulunda ulusal güvenlik komitesi kurdu 03:23 Anthropic halka arz fiyatını 83 dolar olarak belirledi: Hisseler ANT koduyla Nasdaq’ta Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 19.11.2026
Bülten

arXiv 2611.24908 stat.ML

Sinir Ağlarında SGD Dinamiklerinin Ayrıştırılması: Öğretmen Kaynaklı Ani Yükselişler ve Varyans Enflasyonu

Özgün başlık Decomposing SGD Dynamics in Neural Networks: Teacher-Induced Spikes and Variance Inflation

  • Samet Demir
  • Zafer Dogan
ai/muhabir · özet metinden derlendi

Çoklu indeksli bir öğretmen modelinde stokastik gradyan iniş (SGD) ile eğitilen iki katmanlı sinir ağlarını inceliyoruz ve öğretmen alt uzayına dik olan birinci katman parametrelerinin genellemeyi nasıl etkilediğine odaklanıyoruz. Birinci katman ağırlıklarını öğretmenle hizalanmış bir sinyal bileşenine ve ortogonal bir tamamlayıcıya ayrıştırıyoruz ve bunların ortak SGD dinamiklerini ikinci katmanla birlikte orantısal limitte analiz ediyoruz. Tamamlayıcıya yönelik SGD güncellemelerinin başlangıçta izotropik olmasına rağmen, eğitim dinamiklerinin tamamlayıcı Gram matrisinde öğretmene bağlı spektral artışlara neden olduğunu gösterdik.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Çoklu indeksli bir öğretmen modelinde stokastik gradyan iniş (SGD) ile eğitilen iki katmanlı sinir ağlarını inceliyoruz ve öğretmen alt uzayına dik olan birinci katman parametrelerinin genellemeyi nasıl etkilediğine odaklanıyoruz. Birinci katman ağırlıklarını öğretmenle hizalanmış bir sinyal bileşenine ve ortogonal bir tamamlayıcıya ayrıştırıyoruz ve bunların ortak SGD dinamiklerini ikinci katmanla birlikte orantısal limitte analiz ediyoruz. Tamamlayıcıya yönelik SGD güncellemelerinin başlangıçta izotropik olmasına rağmen, eğitim dinamiklerinin tamamlayıcı Gram matrisinde öğretmene bağlı spektral artışlara neden olduğunu gösterdik. Ortaya çıkan bu anizotropi, temsil varyansının güçlendirildiği ve genellemenin bozulduğu somut bir mekanizma sağlar. Bu etkiyi izole etmek için, asimptotik test-hata dinamikleri SGD'ninkilerle örtüşen, analitik olarak takip edilebilir bir vekil olan Ayrışmış Dinamikleri tanıtıyoruz. Bir ReLU öğrencisiyle yapılan simülasyonlarda, ortogonal tamamlayıcının yönlerini dondurmak, onları eğitmeye göre genellemeyi geliştirir. Son olarak, sinyal bileşeninin ikinci katman ağırlıklarıyla hızlı bir şekilde hizalandığını ve bu sığ ortamda bile güçlü çapraz katman eşleşmesini ortaya çıkardığını gösterdik. Sonuçlarımız birlikte, öğretmen alt uzayı dışındaki özellik öğrenmenin genellemeye nasıl zarar verdiğine dair dinamik bir açıklama sağlıyor.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

We study two-layer neural networks trained by stochastic gradient descent (SGD) on a multi-index teacher model, focusing on how first-layer parameters orthogonal to the teacher subspace affect generalization. We decompose the first-layer weights into a signal component aligned with the teacher and an orthogonal complement, and analyze their joint SGD dynamics together with the second layer in the proportional limit. We show that although SGD updates to the complement are initially isotropic, the training dynamics induce teacher-dependent spectral spikes in the complement Gram matrix. This emergent anisotropy provides a concrete mechanism by which representation variance is amplified, and generalization degrades. To isolate this effect, we introduce Decomposed Dynamics, an analytically tractable surrogate whose asymptotic test-error dynamics coincide with those of SGD. In simulations with a ReLU student, freezing the directions of the orthogonal complement improves generalization relative to training them. Finally, we show that the signal component rapidly aligns with the second-layer weights, revealing strong cross-layer coupling even in this shallow setting. Together, our results provide a dynamical explanation for how feature learning outside the teacher subspace harms generalization.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{demir2026decomposing,
  title   = {Decomposing SGD Dynamics in Neural Networks: Teacher-Induced Spikes and Variance Inflation},
  author  = {Samet Demir and Zafer Dogan},
  journal = {arXiv preprint arXiv:2611.24908},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.24908}
}
APA
Demir, S., & Dogan, Z. (2026). Sinir Ağlarında SGD Dinamiklerinin Ayrıştırılması: Öğretmen Kaynaklı Ani Yükselişler ve Varyans Enflasyonu. arXiv. https://arxiv.org/abs/2611.24908
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.