Klinik karar ağlarının denetlenmesi için ağırlık alanı programlaması

Özetle: Radyoterapide makine öğrenimi modelleri, cevapları bilinen vakalar üzerinde test edilerek devreye alınır; bu, test vakalarının eğitim verileriyle paylaştığı bir kısayolu ortaya çıkarmayabilir.

Özet

Radyoterapide makine öğrenimi modelleri, cevapları bilinen vakalar üzerinde test edilerek devreye alınır; bu, test vakalarının eğitim verileriyle paylaştığı bir kısayolu ortaya çıkarmayabilir. Sınır dil modellerinin yakın zamanda küçük sinir ağlarının ham ağırlıklarını okuyup yazabildiği bildirildi; bu, ağırlık-uzay programlaması olarak adlandırılan bir yetenektir. Bu çalışmanın amacı, yalnızca klinik protokol ve ağ ağırlıkları verilen böyle bir modelin ağı denetleyip onarıp onaramayacağını belirlemekti. 433 ila 4.801 parametreye sahip ağlar, dört kurala göre baş-boyun planlama isteklerini taramak üzere eğitildi. Eğitim verilerine kusurlar yerleştirildi: her kuralı gizleyen kafa karıştırıcılar, kordon eşiğinde 3 Gy'lik bir kayma ve gizli bir tetikleyici. Claude Opus 5.5, her bir ağ körlemesini alet, veri veya kod yürütme olmaksızın denetledi ve her talep ve onarım yaklaşık 420.000 istek üzerinde test edildi. Dil modeli, 18 kusurlu ağın 16'sında (%95 CI %67 ila %97) ihlal edilen kuralı adlandırdı; bunların 15'inin tamamında kafa karıştırıcı veya eşik kayması vardı. 3 parametrenin medyanını değiştirerek 16 parametrenin her birini onardı. Protokol etiketli isteklere yapılan ince ayar da her ağı onardı, ancak neredeyse her parametreyi değiştirdi. Bulduğu her karışıklık ve değişim, tek birimler halinde görülebiliyordu ve her kusur türü için seçilen basit bir istatistik, aynı kusurları buldu. 5 sağlıklı ağdan 2'sini zorlanmadan temizledi ve 3 tetikleyiciden 1'ini buldu. Protokole göre yapılan testler her kusuru tespit etti ve kara kutu testi karışıklıkları ve değişimi daha hızlı buldu. Sonuçlar, küçük ağlarda ağırlık alanı programlamanın, bir girişi susturan veya bir eşiği değiştiren kusurları tespit edip onarabildiğini, ancak henüz bir ağın doğru olduğunu onaylayamadığını göstermektedir.

Orijinal Özet (İngilizce)

Machine learning models in radiotherapy are commissioned by testing them on cases with known answers, which may not reveal a shortcut that the test cases share with the training data. Frontier language models have recently been reported to read and write the raw weights of small neural networks, an ability called weight-space programming. The purpose of this study was to determine whether such a model, given only a clinical protocol and a network's weights, can audit and repair the network. Networks with 433 to 4,801 parameters were trained to screen head-and-neck planning requests against four rules. Flaws were planted through the training data: confounds that hid each rule, a 3 Gy shift in the cord threshold, and a hidden trigger. Claude Opus 5.5 audited each network blind, without tools, data or code execution, and every claim and repair was tested on about 420,000 requests. The language model named the broken rule in 16 of 18 flawed networks (95% CI 67% to 97%), including all 15 with a confound or a threshold shift. It repaired each of the 16 by changing a median of 3 parameters. Fine-tuning on protocol-labeled requests also repaired every network, but changed nearly every parameter. Each confound and shift it found was visible in single units, and a simple statistic chosen for each flaw type found the same flaws. It cleared 2 of 5 healthy networks without being forced and found 1 of 3 triggers. Testing against the protocol detected every flaw, and black-box testing found the confounds and the shift faster. The results indicate that, in small networks, weight-space programming can locate and repair flaws that silence an input or shift a threshold, but cannot yet certify that a network is correct.

Kaynak: arXiv:2611.05341 · PDF