Yetenekli bir model ve bir incelemeci aynı karar üzerinde işbirliği yaptığında hangi insan hâlâ değer katar? Bunun tek bir bilişsel özellik olan üstbilişsel kalibrasyonla ilgili bir soru olduğunu savunuyoruz: gözden geçirenin davranışsal güveni ile kararlarının gerçek doğruluğu arasındaki uyum. Bunu kesinleştirmek için gözden geçirenin değerine ilişkin bir özellik teorisi geliştiriyoruz.
- Yetenekli bir model ve bir incelemeci aynı karar üzerinde işbirliği yaptığında hangi insan hâlâ değer katar?
- Bunun tek bir bilişsel özellik olan üstbilişsel kalibrasyonla ilgili bir soru olduğunu savunuyoruz: gözden geçirenin davranışsal güveni ile kararlarının gerçek doğruluğu arasındaki uyum.
- Bunu kesinleştirmek için gözden geçirenin değerine ilişkin bir özellik teorisi geliştiriyoruz.
Yetenekli bir model ve bir incelemeci aynı karar üzerinde işbirliği yaptığında hangi insan hâlâ değer katar?
02 Özet
Yetenekli bir model ve bir incelemeci aynı karar üzerinde işbirliği yaptığında hangi insan hâlâ değer katar? Bunun tek bir bilişsel özellik olan üstbilişsel kalibrasyonla ilgili bir soru olduğunu savunuyoruz: gözden geçirenin davranışsal güveni ile kararlarının gerçek doğruluğu arasındaki uyum. Bunu kesinleştirmek için gözden geçirenin değerine ilişkin bir özellik teorisi geliştiriyoruz. Teori beş iddiada bulunur: değer faaliyet, hız, anlaşma veya kullanım süresinden ziyade kalibrasyonla yönetilir; kalibrasyon davranışsal telemetride gözlemlenebilir izler bırakır; bu izler kendi başlarına tanısal nitelikte değildir, çünkü kalibre edilmiş bir uzmanın hızlı, düşük revizyonlu imzası, sonuçlar tarafından kontrol edilene kadar kendine güvenen bir aceminin imzasından ayırt edilemez; insan kalibrasyonu ve bir modelin kendi bilgisi aynı yapıdır, bu nedenle ortak sistem, her bir öğe üzerinde hangi aracının daha iyi kalibre edildiğine göre hareket etmelidir; ve bireysel kalibrasyon yalnızca tek yargı düzeyinin üzerinde nedensel olarak tanımlanabilir. Her iddiayı yapay zeka destekli bir muhasebe sisteminin altı aylık bir üretim penceresine dayandırdık (541621 inceleme etkinliği, 483 incelemeci) ve tamamen davranışsal bir uzmanlık profilinin temel gerçeği tersine çevirdiğini ve kendine aşırı güvenen bir grubun (düzeltmede hayatta kalma oranı yüzde 5,2) gerçek uzmanlardan (yüzde 99,2) daha yüksek puan aldığını gördük; gözden geçirenin kalitesinin görev süresi boyunca sabit olması, dolayısıyla bu özelliğin işte öğrenilmemesi; ve iyi eleştirmenleri kötü yorumculardan ayıran aynı kalibrasyon mantığının modele uygulanması, insan çabasının yüzde 92,5'inin gerçek hatalar üzerinde yoğunlaşmasını sağlıyor. Teorinin saygı duyması gereken sınıra yaklaşıyoruz: çoğunluk oylarının toplamı altında, bireysel nedensel değer tanımlanamaz.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
When a capable model and a human reviewer cooperate on the same decision, which human still adds value? We argue this is a question about a single cognitive trait, metacognitive calibration: the alignment between a reviewer's behavioral confidence and the actual correctness of their judgments. We develop a trait theory of reviewer value to make it precise. The theory makes five claims: value is governed by calibration rather than by activity, speed, agreement, or tenure; calibration leaves observable traces in behavioral telemetry; those traces are non-diagnostic on their own, because the fast, low-revision signature of a calibrated expert is indistinguishable from that of a confident novice until it is gated by outcomes; human calibration and a model's self-knowledge are the same construct, so the joint system should defer to whichever agent is better calibrated on each item; and individual calibration is causally identifiable only above the level of the single judgment. We ground each claim in a six-month production window of an AI-assisted accounting system (541621 reviewer events, 483 reviewers), and find that a purely behavioral expertise profile inverts the ground truth, scoring an overconfident cohort (5.2 percent correction survival) higher than genuine experts (99.2 percent); that reviewer quality is flat across tenure, so the trait is not learned on the job; and that the same calibration logic that separates good from bad reviewers, applied to the model, concentrates 92.5 percent of human effort on genuine errors. We close with the boundary the theory must respect: under majority-vote aggregation, individual causal value is unidentifiable.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{sinha2026knowing,
title = {Knowing What You Know: A Trait Theory of Reviewer Value in Human-AI Cognitive Systems},
author = {Priyanka Sinha and Sugam Pandey},
journal = {arXiv preprint arXiv:2611.24932},
year = {2026},
url = {https://arxiv.org/abs/2611.24932}
}
Sinha, P., & Pandey, S. (2026). Ne Bildiğinizi Bilmek: İnsan-Yapay Zeka Bilişsel Sistemlerinde İnceleme Değerine İlişkin Bir Özellik Teorisi. arXiv. https://arxiv.org/abs/2611.24932
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın