yörünge-hakim: Yalnızca Sonuç Yüksek Lisans Jürilerinin Temsilci Yörüngelerinde Kaçırdığı Şeyler

Özetle: Bir LLM hakeminin aracı yörüngelerine ilişkin doğrudan testi, hataları doğru çalıştırmalara enjekte eder ve hata türüne göre veya hatanın ortam sonucunu (yüksek) bozup bozmadığına (sessiz) göre geri çağırma raporlarını …

Özet

Bir LLM hakeminin aracı yörüngelerine ilişkin doğrudan testi, hataları doğru çalıştırmalara enjekte eder ve hata türüne göre veya hatanın ortam sonucunu (yüksek) bozup bozmadığına (sessiz) göre geri çağırma raporlarını verir. Böyle bir geri çağırma, hakimin sahip olmadığı bir tespite sahip olmasını sağlayabilir; eşleştirilmiş ayrımcılık, hatalardaki bayrak oranı eksi bunların geldiği temiz koşulardaki oranı bunu ortaya koyuyor. Komut dosyası içeren bir kehanete ve tek adımlı hata enjektörüne sahip deterministik bir destek masası olan test ortamımız, 400 yörüngenin tamamını tam olarak etiketler. 14B hakemi yalnızca talebi gösterdi ve son yanıtı, yanıtı değiştirmeden bırakan dört hata türünde %34 ila %76 arasında bir hatırlama puanı aldı. Burada girdisi temiz çalıştırmadır, dolayısıyla eşleştirilmiş ayrımcılığı sıfırdır ve bu geri çağırma, temiz çalıştırmalardaki bayrak oranıdır. Hayatta kalma sonucuna göre bölmek bu durumu düzeltmez: %84'lük yüksek sesli hatırlama eşleştirilmiş +0,393'tür ve %45'lik sessiz hatırlama eşleştirilmiş +0,048'dir ve bunların tümü yanıtı değiştiren iki hata türündendir. Her adımı kontrol etmesi söylenen aynı model, bu dört türdeki her hatayı ve 100 temiz çalışmanın 0'ını (%95 GA'dan %3,6'ya kadar) işaretler. Yanıtı güvenilir bir şekilde kontrol etmiyor: icat edilen dört vaatten birini her seferinde, diğer üçünü ise 42 hatada bir kez işaretliyor. Her adım gösterilir ancak yalnızca yanıt sorulur, yanıt değişmeyen hatalarda eşleştirilmiş +0,69'a ulaşırken, her adımı kontrol etmesi söylendiğinde +1,00'a ulaşır. Temiz ebeveynlere yönelik ikili ayrımcılığın, hatanın hakimin girdisine ulaşıp ulaşmadığına ve sonucun hayatta kalmasına göre bölünerek rapor edilmesini ve test ortamının, ham kararların ve analiz hattının serbest bırakılmasını öneririz.

Orijinal Özet (İngilizce)

A direct test of an LLM judge of agent trajectories injects faults into correct runs and reports recall, per fault type or by whether the fault broke the environment outcome (loud) or not (silent). Such recall can credit a judge with detection it does not have; paired discrimination, its flag rate on the faults minus its rate on the clean runs they came from, exposes this. Our testbed, a deterministic support desk with a scripted oracle and a one-step fault injector, labels all 400 trajectories exactly. A 14B judge shown only the request and final reply scores 34% to 76% recall on four fault types that leave the reply unchanged. There its input is the clean run's, so its paired discrimination is zero and that recall is its flag rate on clean runs. Splitting by outcome survival does not fix this: its loud recall of 84% is a paired +0.393 and its silent recall of 45% a paired +0.048, all from the two fault types that change the reply. Told to check each step, the same model flags every fault of those four types and 0 of 100 clean runs (95% CI up to 3.6%). It does not reliably check the reply: of four invented promises it flags one every time and the other three once in 42 faults. Shown every step but asked only about the reply, it still reaches a paired +0.69 on reply-unchanged faults, against +1.00 when told to check each step. We recommend reporting paired discrimination against clean parents, split by whether the fault reaches the judge's input and by outcome survival, and release the testbed, raw verdicts and analysis pipeline.

Kaynak: arXiv:2609.00038 · PDF