Eğitim sonrası, bir dil modelinin neyi temsil ettiğini veya bu temsilin bir yanıta nasıl dönüştürüldüğünü değiştirir mi? Doğrusal sorguları, altı açık ağırlıklı temel modelde ve bunların eğitim sonrası sürümlerinde sinyal algılama teorisi ile analiz edilen modellerin kendi yanıtlarıyla karşılaştırdık. Almanca metinlerin bir insan mı yoksa bir yapay zekâ mı tarafından yazıldığına dair değerlendirmelerde, sorgular ve kelime n-gram sınıflandırıcıları sınıfları iyi bir şekilde ayırmıştır, ancak yanıtlar bunu yapmamış ve genellikle metinleri ters sırada sıralamıştır.
- Eğitim sonrası, bir dil modelinin neyi temsil ettiğini veya bu temsilin bir yanıta nasıl dönüştürüldüğünü değiştirir mi?
- Doğrusal sorguları, altı açık ağırlıklı temel modelde ve bunların eğitim sonrası sürümlerinde sinyal algılama teorisi ile analiz edilen modellerin kendi yanıtlarıyla karşılaştırdık.
- Almanca metinlerin bir insan mı yoksa bir yapay zekâ mı tarafından yazıldığına dair değerlendirmelerde, sorgular ve kelime n-gram sınıflandırıcıları sınıfları iyi bir şekilde ayırmıştır, ancak yanıtlar bunu yapmamış ve genellikle metinleri ters sırada sıralamıştır.
Eğitim sonrası, bir dil modelinin neyi temsil ettiğini veya bu temsilin bir yanıta nasıl dönüştürüldüğünü değiştirir mi?
02 Özet
Eğitim sonrası, bir dil modelinin neyi temsil ettiğini veya bu temsilin bir yanıta nasıl dönüştürüldüğünü değiştirir mi? Doğrusal sorguları, altı açık ağırlıklı temel modelde ve bunların eğitim sonrası sürümlerinde sinyal algılama teorisi ile analiz edilen modellerin kendi yanıtlarıyla karşılaştırdık. Almanca metinlerin bir insan mı yoksa bir yapay zekâ mı tarafından yazıldığına dair değerlendirmelerde, sorgular ve kelime n-gram sınıflandırıcıları sınıfları iyi bir şekilde ayırmıştır, ancak yanıtlar bunu yapmamış ve genellikle metinleri ters sırada sıralamıştır. Eğitim sonrası, yanıtların duyarlılığını ortalama olarak düşürmüştür (model aileleri arasında $Δd' = -0,34$; üç istemde -0,29). Ayrıca, belirtilen bir temel oranın kullanımını da değiştirmiştir: Temel modeller, log-olasılıklarını belirtilen önceki olasılıklardaki değişiklikten daha az, çoğu sonradan eğitilmiş model ise daha fazla değiştirmiştir. Aşamalı kontrol noktalarına sahip iki modelde değişiklik, denetimli ince ayar sırasında meydana gelmiştir; model birleştirme, erken katmanları ve orta derinlikten itibaren metinden sonraki konumlardaki iç durumları etkilemiştir, t'ninkileri değil. Metin, değişikliği kontrol noktaları arasında aktarmıştır. Korpuslarımız paylaşılamaz, bu nedenle kamuya açık verilerden çoğaltılabilen bir vaka ekliyoruz: olumsuz ifadelerin doğruluğu. Burada, eğitim sonrası tam tersi yönde etki etmiştir: Sorgular her modelde en üst seviyede veya ona yakın bir seviyede doğruluğu deşifre etmiştir, birkaç temel modelin yanıtları bunu kullanmamıştır ve eğitim sonrası bunları düzeltmiştir; orta derinlikte düzeltme sonucu ifadenin altındaki pozisyonlarda tanımlanmıştır; bunun altında, ifadenin temsili dört modelden birine güçlü bir şekilde katkıda bulunmuştur. Bir eğitim çalışmasında, haber metinlerine ilişkin 2.000 doğru şekilde etiketlenmiş yazarlık değerlendirmesinin, bunun dışında aynı olan ince ayar verilerine eklenmesi, gazete ve ders kitabı derlemlerimizdeki yanıtları iyileştirmiş ve sohbetlerde tersine çevirmiştir. Burada temel modelin haberlerle eğitilmiş bir sorgusunu takip etmişlerdir. Dolayısıyla eğitim sonrası, bir modelin neyi temsil ettiğinden bir yargının nasıl çıkarıldığına dair anlayışı değiştirmiştir ve küçük bir eğitim sinyali bunun yönünü belirleyebilir.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Does post-training change what a language model represents, or how this representation is read out into an answer? We compared linear probes with the models' own answers, analyzed with signal detection theory, in six open-weight base models and their post-trained versions. For judgments of whether German texts were written by a human or an AI, probes and word n-gram classifiers separated the classes well, but the answers did not and often ordered the texts inversely. Post-training lowered the sensitivity of the answers on average ($Δd' = -0.34$ across model families; -0.29 across three prompts). It also changed the use of a stated base rate: Base models shifted their log-odds by less than the stated change in prior odds, most post-trained models by more. In two models with stage-wise checkpoints, the change occurred during supervised fine-tuning, model stitching implicated the early layers, and from mid-depth on internal states at positions after the text, not those of the text, transferred the change between checkpoints. Our corpora cannot be shared, so we add a case reproducible from public data, the truth of negated statements. Here, post-training acted in the opposite direction: Probes decoded truth at or near ceiling in every model, the answers of several base models did not use it, and post-training repaired them; by mid-depth the repair resided at the positions after the statement; below it, the representation of the statement contributed, strongly in one of four models. In a training study, adding 2,000 correctly labeled authorship judgments of news texts to otherwise identical fine-tuning data improved the answers on our newspaper and textbook corpora and inverted them on the chats, where they followed a news-trained probe of the base model. Post-training thus changed how a judgment is read out of what a model represents, and a small training signal can set its direction.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{laubrock2026represented,
title = {Represented but misread: Post-training changes how language models read out what they represent},
author = {Jochen Laubrock},
journal = {arXiv preprint arXiv:2611.26584},
year = {2026},
url = {https://arxiv.org/abs/2611.26584}
}
Laubrock, J. (2026). Temsil ediliyor ancak yanlış okunuyor: Eğitim sonrası süreç, dil modellerinin neyi temsil ettiklerini nasıl okuduklarını değiştiriyor. arXiv. https://arxiv.org/abs/2611.26584
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın