$f$ tarafından oluşturulan $T$ uzunluğundaki düşünce zinciri (CoT) gösterimleri göz önüne alındığında, bir $mathcal{F}$ sınıfından otoregresif bir sonraki jeton oluşturucu $fcolonΣ^startoΣ$'yi nasıl öğreneceğimizi inceliyoruz. Eğitim verilerinin önyükleme örnekleri üzerinde CoT ile tutarlı olacak şekilde eğitilmiş oluşturucuların çoğunluk oyunun çıktısını veren, torbalamaya dayalı basit bir algoritma sunuyoruz. İkili belirteç kümeleri için, CoT uzunluğundan $T$ bağımsız olarak $O((d_{mathrm{VC}}+log(1/δ))/ε)$ optimal örnek karmaşıklığına ulaşır; burada $d_{mathrm{VC}}$, $mathcal{F}$'ın VC boyutudur.
- $f$ tarafından oluşturulan $T$ uzunluğundaki düşünce zinciri (CoT) gösterimleri göz önüne alındığında, bir $mathcal{F}$ sınıfından otoregresif bir sonraki jeton oluşturucu $fcolonΣ^startoΣ$'yi nasıl öğreneceğimizi inceliyoruz.
- Eğitim verilerinin önyükleme örnekleri üzerinde CoT ile tutarlı olacak şekilde eğitilmiş oluşturucuların çoğunluk oyunun çıktısını veren, torbalamaya dayalı basit bir algoritma sunuyoruz.
- İkili belirteç kümeleri için, CoT uzunluğundan $T$ bağımsız olarak $O((d_{mathrm{VC}}+log(1/δ))/ε)$ optimal örnek karmaşıklığına ulaşır; burada $d_{mathrm{VC}}$, $mathcal{F}$'ın VC boyutudur.
$f$ tarafından oluşturulan $T$ uzunluğundaki düşünce zinciri (CoT) gösterimleri göz önüne alındığında, bir $mathcal{F}$ sınıfından otoregresif bir sonraki jeton oluşturucu $fcolonΣ^startoΣ$'yi nasıl öğreneceğimizi inceliyoruz.
02 Özet
$f$ tarafından oluşturulan $T$ uzunluğundaki düşünce zinciri (CoT) gösterimleri göz önüne alındığında, bir $mathcal{F}$ sınıfından otoregresif bir sonraki jeton oluşturucu $fcolonΣ^startoΣ$'yi nasıl öğreneceğimizi inceliyoruz. Eğitim verilerinin önyükleme örnekleri üzerinde CoT ile tutarlı olacak şekilde eğitilmiş oluşturucuların çoğunluk oyunun çıktısını veren, torbalamaya dayalı basit bir algoritma sunuyoruz. İkili belirteç kümeleri için, CoT uzunluğundan $T$ bağımsız olarak $O((d_{mathrm{VC}}+log(1/δ))/ε)$ optimal örnek karmaşıklığına ulaşır; burada $d_{mathrm{VC}}$, $mathcal{F}$'ın VC boyutudur. Sonlu jeton kümeleri için $Σ$, VC boyutu çok sınıflı bir analogla, Grafik boyutu $d_{mathrm{G}}$ ile değiştirilir ve örnek karmaşıklığı $log|Σ|$ faktörüne kadar optimaldir. Çoğunluk oyu topluluğundaki oluşturucuların sayısı $O(log(T/δ))$'dır ve topluluğun $nlog(nT)$ etiketlenmemiş istemler pahasına $mathcal{F}$ içinde tek bir oluşturucuya ayrıştırılabileceğini gösteriyoruz.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
We study how to learn an autoregressive next-token generator $fcolonΣ^startoΣ$ from a class $mathcal{F}$, given chain-of-thought (CoT) demonstrations of length $T$ generated by $f$. We present a simple algorithm based on bagging, which outputs a majority vote of generators that are trained to be CoT-consistent on bootstrap samples of the training data. For binary token sets, it achieves the optimal sample complexity of $O((d_{mathrm{VC}}+log(1/δ))/ε)$, independent of the CoT length $T$, where $d_{mathrm{VC}}$ is the VC dimension of $mathcal{F}$. For finite token sets $Σ$, the VC dimension is replaced by a multiclass analogue, the Graph dimension $d_{mathrm{G}}$, and the sample complexity is optimal up to a $log|Σ|$ factor. The number of generators in the majority-vote ensemble is $O(log(T/δ))$, and we show that the ensemble can be distilled into a single generator in $mathcal{F}$ at the expense of $nlog(nT)$ unlabeled prompts.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{altabaa2026optimal,
title = {Optimal Autoregressive Chain-of-Thought Learning via Bagging},
author = {Awni Altabaa and John Lafferty and Omar Montasser},
journal = {arXiv preprint arXiv:2611.21597},
year = {2026},
url = {https://arxiv.org/abs/2611.21597}
}
Altabaa, A., Lafferty, J., & Montasser, O. (2026). Torbalama Yoluyla Optimum Otoregresif Düşünce Zinciri Öğrenimi. arXiv. https://arxiv.org/abs/2611.21597
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın