Büyük dil modellerinde sosyal önyargıyı bireysel dikkat başlıklarına lokalize eden ve bunu ablasyon yoluyla ortadan kaldıran yöntemler, kafaları seçen istatistiğin önyargıyı ölçtüğüne dair kanıtlarla değil, adalet ölçütü üzerindeki etkileriyle doğrulanır. Bunu Qwen-2.5-7B-Instruct ve Llama-3.1-8B-Instruct'ta denetliyoruz. Kafa haritası $ρ= -0.950$ ve $-0.768$ ile etiket kör yanıt uzunluğu haritasıyla ilişkilidir ve görünüşe göre yüzeydeki bir karışıklığı tanımlamaktadır.
- Büyük dil modellerinde sosyal önyargıyı bireysel dikkat başlıklarına lokalize eden ve bunu ablasyon yoluyla ortadan kaldıran yöntemler, kafaları seçen istatistiğin önyargıyı ölçtüğüne dair kanıtlarla değil, adalet ölçütü üzerindeki etkileriyle doğrulanır.
- Bunu Qwen-2.5-7B-Instruct ve Llama-3.1-8B-Instruct'ta denetliyoruz.
- Kafa haritası $ρ= -0.950$ ve $-0.768$ ile etiket kör yanıt uzunluğu haritasıyla ilişkilidir ve görünüşe göre yüzeydeki bir karışıklığı tanımlamaktadır.
Büyük dil modellerinde sosyal önyargıyı bireysel dikkat başlıklarına lokalize eden ve bunu ablasyon yoluyla ortadan kaldıran yöntemler, kafaları seçen istatistiğin önyargıyı ölçtüğüne dair kanıtlarla değil, adalet ölçütü üzerindeki etkileriyle doğrulanır.
02 Özet
Büyük dil modellerinde sosyal önyargıyı bireysel dikkat başlıklarına lokalize eden ve bunu ablasyon yoluyla ortadan kaldıran yöntemler, kafaları seçen istatistiğin önyargıyı ölçtüğüne dair kanıtlarla değil, adalet ölçütü üzerindeki etkileriyle doğrulanır. Bunu Qwen-2.5-7B-Instruct ve Llama-3.1-8B-Instruct'ta denetliyoruz. Kafa haritası $ρ= -0.950$ ve $-0.768$ ile etiket kör yanıt uzunluğu haritasıyla ilişkilidir ve görünüşe göre yüzeydeki bir karışıklığı tanımlamaktadır. Uzunluk-etiket bağlantısını bozan bir müdahale bu okumayı reddeder: istem sabit tutulduğunda yanıt uzunluğu istatistiğin varyansının %1'ini açıklar. Bunu açıklayan şey, uzunluğu monoton olmayan bir sıralamada %64 varyansla hızlı özdeşliktir. Herhangi bir sabit istemde adalet etiketi, yanıt uzunluğu ve korunan grup belirtecinin varlığı, kısmen etiketleme kuralının tanımı gereği $φ= 0,95$'da aynı doğrultudadır, dolayısıyla hiçbir gözlemsel analiz haritayı bunlardan herhangi birine atfedemez ve bu ailedeki hiçbir yöntem bunu yapabilecek bir deney gerçekleştirmez. Temel iddialar bağımsız olarak başarısız oluyor: önyargı seçiciliği, her iki referans okumasında da her iki modelde de son katmana odaklanmıyor ve test ettiğimiz hiçbir kafa seti, ablasyon durumunda adaletsizlik oranını azaltmıyor. Karşıt etikette puanlanan tamamlayıcısı, reddetme davranışını güvenilir bir şekilde yok eder ($p = 2,7x10^{-5}$), bu da ardışık düzenin bu ölçekte etkileri tespit ettiğini gösterir.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Methods that localise social bias in large language models to individual attention heads and remove it by ablation are validated by their effect on a fairness metric, never by evidence that the statistic selecting the heads measures bias. We audit this on Qwen-2.5-7B-Instruct and Llama-3.1-8B-Instruct. The head map correlates at $ρ= -0.950$ and $-0.768$ with a label-blind response-length map, apparently identifying a surface confound. An intervention that breaks the length-label coupling rejects this reading: with the prompt held fixed, response length explains 1% of the statistic's variance. What does explain it is prompt identity, at 64% of variance, in an ordering that is not monotonic in length. Within any fixed prompt the fairness label, response length and the presence of a protected-group token are collinear at $φ= 0.95$, partly by definition of the labelling rule, so no observational analysis can attribute the map to any of them, and no method in this family performs an experiment that could. The substantive claims fail independently: bias selectivity is not late-layer-concentrated on either model under either reference reading, and no head set we tested reduces the unfairness rate when ablated. Its complement, scored on the opposite label, reliably destroys refusal behaviour ($p = 2.7times10^{-5}$), demonstrating that the pipeline detects effects at this scale.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{alam2026what,
title = {What Does a Bias Head Measure? Non-Identifiability in Head-Level Bias Attribution},
author = {S. M Seefat Alam},
journal = {arXiv preprint arXiv:2611.23218},
year = {2026},
url = {https://arxiv.org/abs/2611.23218}
}
Alam, S. M. S. (2026). Önyargı Kafası Neyi Ölçer? Kafa Düzeyinde Önyargı İlişkilendirmesinde Tanımlanamama. arXiv. https://arxiv.org/abs/2611.23218
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın