Kendi kendine tutarlılık sertifikasyonu, bir dil modelinden tekrarlanan örneklemeyi sıralı kanıt birikimi olarak ele alır ve herhangi bir zamanda geçerli olan bir e-işlem bir eşiği geçtiğinde durur ve Ville eşitsizliğine göre sonlu örnek Tip I hata kontrolünü garanti eder. Önceki yapılar, örneklenmiş kullanıma sunmaların koşullu olarak bağımsız olduğunu varsaymaktadır. Bu varsayımın pratikte başarısız olduğunu gösteriyoruz: akıl yürütme akışları, paylaşılan akıl yürütme önekleri veya istemler arası heterojenlik yoluyla pozitif olarak ilişkilidir, bu da yalnızca sertifika verimliliğini değil aynı zamanda onaylanan hipotezi de değiştirir.
- Kendi kendine tutarlılık sertifikasyonu, bir dil modelinden tekrarlanan örneklemeyi sıralı kanıt birikimi olarak ele alır ve herhangi bir zamanda geçerli olan bir e-işlem bir eşiği geçtiğinde durur ve Ville eşitsizliğine göre sonlu örnek Tip I hata kontrolünü garanti eder.
- Önceki yapılar, örneklenmiş kullanıma sunmaların koşullu olarak bağımsız olduğunu varsaymaktadır.
- Bu varsayımın pratikte başarısız olduğunu gösteriyoruz: akıl yürütme akışları, paylaşılan akıl yürütme önekleri veya istemler arası heterojenlik yoluyla pozitif olarak ilişkilidir, bu da yalnızca sertifika verimliliğini değil aynı zamanda onaylanan hipotezi de değiştirir.
Kendi kendine tutarlılık sertifikasyonu, bir dil modelinden tekrarlanan örneklemeyi sıralı kanıt birikimi olarak ele alır ve herhangi bir zamanda geçerli olan bir e-işlem bir eşiği geçtiğinde durur ve Ville eşitsizliğine göre sonlu örnek Tip I hata kontrolünü garanti eder.
02 Özet
Kendi kendine tutarlılık sertifikasyonu, bir dil modelinden tekrarlanan örneklemeyi sıralı kanıt birikimi olarak ele alır ve herhangi bir zamanda geçerli olan bir e-işlem bir eşiği geçtiğinde durur ve Ville eşitsizliğine göre sonlu örnek Tip I hata kontrolünü garanti eder. Önceki yapılar, örneklenmiş kullanıma sunmaların koşullu olarak bağımsız olduğunu varsaymaktadır. Bu varsayımın pratikte başarısız olduğunu gösteriyoruz: akıl yürütme akışları, paylaşılan akıl yürütme önekleri veya istemler arası heterojenlik yoluyla pozitif olarak ilişkilidir, bu da yalnızca sertifika verimliliğini değil aynı zamanda onaylanan hipotezi de değiştirir. Birim başına gizli durum (rastgele etkiler / sınıf içi korelasyon yapısı) aracılığıyla bağımlılığın modellenmesi, $ρ$ korelasyonu ile değiştirilebilir, eş korelasyonlu artışlara neden olur. Korelasyon, tek boş değeri, çizilen inanç hakkında gerçekleşmiş bir boş değere ve ortalama model davranışı hakkında bir popülasyon boş değerine böler; bunlar yalnızca $ρ=0$ olduğunda çakışır. Şunu gösteriyoruz: (i) standart bahis e-süreci, nüfus boş değeri için değil, gerçekleşen sıfır değeri için her zaman geçerli kalır; (ii) bir popülasyon sıfır testi olarak okunduğunda, uygun bir karışımın asimptotik geçiş olasılığı en az $π=P(μ(Z)>0)$ olup, potansiyel olarak nominal $ε$'ı aşmaktadır; (iii) birim içi ortalamanın etkili örnek büyüklüğü 1 $/ρ$ seviyesinde doygunluğa ulaşır, dolayısıyla birim içi ekstra dağıtımlar popülasyon geçerliliğini geri getiremez; ve (iv) istem düzeyindeki bir e-süreç, salt kullanıma sunma bütçesi altında istem başına bir kullanıma sunmada optimal tahsisle popülasyon geçerliliğini yeniden sağlar. Simülasyonlar ve Claude Haiku 4.5 kullanıma sunulması bu rejim bağımlılığını doğrulamaktadır: GSM8K'de ($hatρ=0.435$, $hatθ=+0.96$) boşluk hareketsizken, AIME'de ($hatρ=0.480$, $hatθ=-0.15$) tek birim kuralı istemlerin %24'ünde nominal $ε=0.05$'da kesişirken, bilgi istemi düzeyi prosedürü düşer (0,00). Bu doğruluk sonucu, her zaman geçerli bir sertifikanın bağımlılık altında gerçekte hangi güvenilirlik iddiasını desteklediğini tanımlar.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Self-consistency certification treats repeated sampling from a language model as sequential evidence accumulation and stops when an anytime-valid e-process crosses a threshold, guaranteeing finite-sample Type I error control by Ville's inequality. Prior constructions assume sampled rollouts are conditionally independent. We show this assumption fails in practice: reasoning streams are positively correlated through shared reasoning prefixes or across-prompt heterogeneity, changing not merely certificate efficiency but the hypothesis certified. Modeling dependence via a per-unit latent state (the random-effects / intraclass-correlation structure) induces exchangeable, equi-correlated increments with correlation $ρ$. Correlation splits the single null into a realized null about the drawn belief and a population null about average model behavior, which coincide only when $ρ=0$. We show: (i) the standard betting e-process remains anytime-valid for the realized null, not the population null; (ii) read as a population-null test, a suitable mixture has asymptotic crossing probability at least $π=P(μ(Z)>0)$, potentially exceeding nominal $ε$; (iii) the within-unit mean's effective sample size saturates at $1/ρ$, so extra within-unit rollouts cannot restore population validity; and (iv) a prompt-level e-process restores population validity, with optimal allocation at one rollout per prompt under a pure rollout budget. Simulations and Claude Haiku 4.5 rollouts confirm this regime dependence: on GSM8K ($hatρ=0.435$, $hatθ=+0.96$) the gap is dormant, whereas on AIME ($hatρ=0.480$, $hatθ=-0.15$) the single-unit rule crosses on 24% of prompts at nominal $ε=0.05$, while the prompt-level procedure declines (0.00). This correctness result identifies which reliability claim an anytime-valid certificate actually supports under dependence.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{agbeyegbe2026realized,
title = {Realized versus Population Reliability: Anytime-Valid Self-Consistency Certification under Correlated Reasoning},
author = {Terence D. Agbeyegbe and Toneukarin G. Agbeyegbe},
journal = {arXiv preprint arXiv:2611.26592},
year = {2026},
url = {https://arxiv.org/abs/2611.26592}
}
Agbeyegbe, T. D., & Agbeyegbe, T. G. (2026). Gerçekleşen ve Nüfus Güvenilirliğine Karşı: İlişkili Muhakeme Altında Her Zaman Geçerli Kendi Kendine Tutarlılık Sertifikası. arXiv. https://arxiv.org/abs/2611.26592
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın