Otoregresif dil modelleri için büyük ölçekli, çeşitli ve yüksek kaliteli eğitim sonrası veri kümelerinin toplanması zordur. Sonuç olarak, Denetimli İnce Ayar (SFT), tipik olarak, ön eğitim için kullanılanlardan önemli ölçüde daha küçük veri kümelerine uygulanır; bu da aşırı uyum ve veri dağıtımının kuyruklarının feci şekilde unutulmasına yol açar. Bu çöküşü önlemek için, ince ayar setini güçlendirmek amacıyla kusurlu tahminlerden yararlanan ilkeli bir çerçeve olan Ambient SFT'yi sunuyoruz.
- Otoregresif dil modelleri için büyük ölçekli, çeşitli ve yüksek kaliteli eğitim sonrası veri kümelerinin toplanması zordur.
- Sonuç olarak, Denetimli İnce Ayar (SFT), tipik olarak, ön eğitim için kullanılanlardan önemli ölçüde daha küçük veri kümelerine uygulanır; bu da aşırı uyum ve veri dağıtımının kuyruklarının feci şekilde unutulmasına yol açar.
- Bu çöküşü önlemek için, ince ayar setini güçlendirmek amacıyla kusurlu tahminlerden yararlanan ilkeli bir çerçeve olan Ambient SFT'yi sunuyoruz.
Otoregresif dil modelleri için büyük ölçekli, çeşitli ve yüksek kaliteli eğitim sonrası veri kümelerinin toplanması zordur.
02 Özet
Otoregresif dil modelleri için büyük ölçekli, çeşitli ve yüksek kaliteli eğitim sonrası veri kümelerinin toplanması zordur. Sonuç olarak, Denetimli İnce Ayar (SFT), tipik olarak, ön eğitim için kullanılanlardan önemli ölçüde daha küçük veri kümelerine uygulanır; bu da aşırı uyum ve veri dağıtımının kuyruklarının feci şekilde unutulmasına yol açar. Bu çöküşü önlemek için, ince ayar setini güçlendirmek amacıyla kusurlu tahminlerden yararlanan ilkeli bir çerçeve olan Ambient SFT'yi sunuyoruz. Bizim yöntemimizde, önceden eğitilmiş modelin "dondurulmuş" bir versiyonu, ince ayarlı modelin kaba düzeyde eşleşmesi gereken gürültülü bir öğretmen görevi görür. Özellikle, eğitim sonrası model tarafından üretilen koşullu dağılımların yüksek sıcaklık versiyonlarının, eğitim öncesi modellerin yüksek sıcaklık versiyonlarıyla eşleşmesi gerekmektedir. Sıcaklık hiperparametresi, önceden eğitilmiş modeldeki güven düzeyini kontrol eder; $T ila infty$ sınırı normal SFT'ye geri döner ve $T=1$ bilgi damıtmasına geri döner. Yaklaşımımızın, etki alanı uyarlaması, talimat ayarlama ve muhakeme konularında standart SFT'den daha iyi performans gösterdiğini ve standart SFT'ye göre ortalama %21$$'a kadar iyileşme sağladığını gösterdik.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Collecting large-scale, diverse, and high-quality post-training datasets for autoregressive language models is challenging. Consequently, Supervised Fine-Tuning (SFT) is typically applied to datasets significantly smaller than those used for pre-training, which leads to overfitting and the catastrophic forgetting of the tails of the data distribution. To prevent this collapse, we introduce Ambient SFT, a principled framework for leveraging imperfect predictions to augment the fine-tuning set. In our method, a "frozen" version of the pre-trained model serves as a noisy teacher that the fine-tuned model must match at a coarse level. In particular, we require that the high-temperature versions of the conditional distributions produced by the post-training model should match the high-temperature versions of the pre-training ones. The temperature hyperparameter controls the level of trust in the pre-trained model, with the limit $Tto infty$ reverting back to regular SFT and $T=1$ to knowledge distillation. We demonstrate that our approach outperforms standard SFT across domain adaptation, instruction-tuning, and reasoning, leading for up to $21%$ average relative improvement to standard SFT.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{daras2026ambient,
title = {Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching},
author = {Giannis Daras and Marios Papachristou and Adam Klivans and Antonio Torralba and Constantinos Daskalakis},
journal = {arXiv preprint arXiv:2611.23229},
year = {2026},
url = {https://arxiv.org/abs/2611.23229}
}
Daras, G., Papachristou, M., Klivans, A., Torralba, A., & Daskalakis, C. (2026). Ortam Yüksek Lisansı: Sıcaklık Eşleştirme Yoluyla Veri Verimliliğiyle Denetimli İnce Ayar. arXiv. https://arxiv.org/abs/2611.23229
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın