İçeriğe geç
CANLI Dün Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 6 gün önce Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem 8 Kas 2026 Gemini 4 Flash ve Yeni Claude İçin İşaretler Artıyor: LMArena’da ‘Hydrogen’, Sızıntıda ‘Hyperion’ Zekâ endeksi lideri Claude Opus 5 (Adaptive Reasoning, Max Effort) · 63,1 16.11.2026
Bülten

arXiv 2605.09995 cs.CL

Ek Açıklamalar Eğitim Sonrası Modun Çökmesini Azaltır

  • Jacob Mitchell Springer
  • Madhu Advani
  • Lukas Aichberger
  • Arwen Bradley
  • Eran Malach
  • Omid Saremi
  • Sinead Williamson
  • Preetum Nakkiran
  • Etai Littwin
  • Aditi Raghunathan

01 30 saniyede editör özeti

Eğitim sonrası (denetimli ince ayar yoluyla) talimat takibini geliştirir, ancak çoğu zaman modelleri yüksek entropili eğitim öncesi dağıtım pahasına düşük entropili ince ayar verilerine yönlendirerek anlamsal modun çökm…

02 Özet

Özetle: Eğitim sonrası (denetimli ince ayar yoluyla) talimat takibini geliştirir, ancak çoğu zaman modelleri yüksek entropili eğitim öncesi dağıtım pahasına düşük entropili ince ayar verilerine yönlendirerek anlamsal modun çökm…

Özet

Eğitim sonrası (denetimli ince ayar yoluyla) talimat takibini geliştirir, ancak çoğu zaman modelleri yüksek entropili eğitim öncesi dağıtım pahasına düşük entropili ince ayar verilerine yönlendirerek anlamsal modun çökmesine neden olur. En önemlisi, bu ödünleşimin ölçekle birlikte kötüleştiğini görüyoruz. Bu anlamsal çeşitlilik açığını kapatmak için, modellerin ön eğitimin doğal çeşitliliğinden ödün vermeden eğitim sonrası tercihleri ​​takip eden davranışları benimsemesini sağlayan ilkeli bir yöntem olan açıklama bağlantılı eğitim öneriyoruz. Yaklaşımımız basit: semantik açıklamalarla eşleştirilmiş belgeler üzerinde ön eğitim yapıyoruz, eğitim öncesi verilerin tüm kapsamını yansıtan zengin bir açıklama dağılımı oluşturuyoruz ve bu dağılımı eğitim sonrası sırasında koruyoruz. Bu, çıkarım zamanında çeşitli ek açıklamaları örneklememize ve bunları oluşturmayı yönlendirmek için dayanak olarak kullanmamıza, ön eğitimin anlamsal zenginliğini etkili bir şekilde eğitim sonrası modellere aktarmamıza olanak tanır. Ek açıklama bağlantılı eğitimle eğitilen modellerin, SFT ile eğitilen modellere kıyasla 6 $ time$ daha az çeşitlilik çöküşüne ulaşabileceğini ve ölçekle birlikte gelişebileceğini bulduk.

Orijinal Özet (İngilizce)

Post-training (via supervised fine-tuning) improves instruction-following, but often induces semantic mode collapse by biasing models toward low-entropy fine-tuning data at the expense of the high-entropy pretraining distribution. Crucially, we find this trade-off worsens with scale. To close this semantic diversity gap, we propose annotation-anchored training, a principled method that enables models to adopt the preference-following behaviors of post-training without sacrificing the inherent diversity of pretraining. Our approach is simple: we pretrain on documents paired with semantic annotations, inducing a rich annotation distribution that reflects the full breadth of pretraining data, and we preserve this distribution during post-training. This lets us sample diverse annotations at inference time and use them as anchors to guide generation, effectively transferring pretraining's semantic richness into post-trained models. We find that models trained with annotation-anchored training can attain $6 times$ less diversity collapse than models trained with SFT, and improve with scale.

Kaynak: arXiv:2605.09995 · PDF

Eğitim sonrası (denetimli ince ayar yoluyla) talimat takibini geliştirir, ancak çoğu zaman modelleri yüksek entropili eğitim öncesi dağıtım pahasına düşük entropili ince ayar verilerine yönlendirerek anlamsal modun çökmesine neden olur. En önemlisi, bu ödünleşimin ölçekle birlikte kötüleştiğini görüyoruz. Bu anlamsal çeşitlilik açığını kapatmak için, modellerin ön eğitimin doğal çeşitliliğinden ödün vermeden eğitim sonrası tercihleri ​​takip eden davranışları benimsemesini sağlayan ilkeli bir yöntem olan açıklama bağlantılı eğitim öneriyoruz. Yaklaşımımız basit: semantik açıklamalarla eşleştirilmiş belgeler üzerinde ön eğitim yapıyoruz, eğitim öncesi verilerin tüm kapsamını yansıtan zengin bir açıklama dağılımı oluşturuyoruz ve bu dağılımı eğitim sonrası sırasında koruyoruz. Bu, çıkarım zamanında çeşitli ek açıklamaları örneklememize ve bunları oluşturmayı yönlendirmek için dayanak olarak kullanmamıza, ön eğitimin anlamsal zenginliğini etkili bir şekilde eğitim sonrası modellere aktarmamıza olanak tanır. Ek açıklama bağlantılı eğitimle eğitilen modellerin, SFT ile eğitilen modellere kıyasla 6 $ time$ daha az çeşitlilik çöküşüne ulaşabileceğini ve ölçekle birlikte gelişebileceğini bulduk.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{springer2026annotations,
  title   = {Annotations Mitigate Post-Training Mode Collapse},
  author  = {Jacob Mitchell Springer and Madhu Advani and Lukas Aichberger and Arwen Bradley and Eran Malach and Omid Saremi and Sinead Williamson and Preetum Nakkiran and Etai Littwin and Aditi Raghunathan},
  journal = {arXiv preprint arXiv:2605.09995},
  year    = {2026},
  url     = {https://arxiv.org/abs/2605.09995}
}
APA
Springer, J. M., Advani, M., Aichberger, L., Bradley, A., Malach, E., Saremi, O., Williamson, S., Nakkiran, P., Littwin, E., & Raghunathan, A. (2026). Ek Açıklamalar Eğitim Sonrası Modun Çökmesini Azaltır. arXiv. https://arxiv.org/abs/2605.09995
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.