MedPhysBench: Tıbbi Fizik Hesaplamaları ve Hata Tespiti Konusunda Dil Modellerini Değerlendirmeye Yönelik Bir Karşılaştırma Ölçütü

Özetle: Tıbbi fizikçiler bir reçeteyi verilen doza dönüştürür ve birbirlerinin hesaplamalarını kontrol ederler çünkü ışın kalibrasyonunda veya monitör ünitesi (MU) hesaplamasındaki bir hata, onunla tedavi edilen her hastayı etk…

Özet

Tıbbi fizikçiler bir reçeteyi verilen doza dönüştürür ve birbirlerinin hesaplamalarını kontrol ederler çünkü ışın kalibrasyonunda veya monitör ünitesi (MU) hesaplamasındaki bir hata, onunla tedavi edilen her hastayı etkileyebilir. MedPhysBench'te radyasyon tedavisi, teşhis amaçlı görüntüleme, nükleer tıp ve radyasyondan korunma alanlarında, TG-51 kalibrasyon çalışma sayfası gibi klinik görevlere kadar on adet yerleşik hesaplama öğesi bulunur. Referans yanıtları, yönetim protokollerini uygulayan koddan gelir ve bir sınıflandırıcı, birimleri dönüştürür ve tolerans bantlarını uygular. Aynı girdilerden, ayrı kontrol öğeleri hata tespitini test eder, bir meslektaşın çalışma sayfasını veya yalnızca meslektaşın sonucunu gösterir; yarısı doğru ve yarısı tek bir yerleşik hata içerir. 1.200 maddelik (iki modelin yarısı) uzun bir test bölümünde, 12 model hesaplamada %33,3 ile 100,0 arasında puan aldı. En iyi dörde (%99,3-100,0) yanlış olarak derecelendirilen dokuz yanıttan beşi model hataları içeriyordu ve dördü, öğelerimizin yanlış beyan ettiği veya açık bıraktığı noktalarla ilgili NCRP Raporu 151'i takip ediyordu. Bunların altında çoğu model, seviye 3 klinik görevlerde en kötü performansı gösterdi ve Claude Sonnet 5.5, 20 izosentrik MU öğesinin 19'unda ters kare düzeltmesini atladı. Beş model, çoğunlukla büyük tesis hatalarının en az %96,7'sini ve en fazla %4'ü yanlış alarmı tespit etti; diğer yedi kişiden dördünde yalnızca sonucun kontrol edilmesi yanlış alarmların önemli ölçüde artmasına neden oldu. Ters kare düzeltmesinin ihmal edildiği 20 halka açık durumla yapılan keşif amaçlı hedefli bir testte, test edilen en iyi üç model bunu her çalışma sayfasında yakaladı ve daha zayıf üç model, yerleştirilmiş 20 çalışma sayfasından 16 ila 18'ini kabul etti; bunlardan biri, kendi hesaplamalarının çoğunda düzeltmeyi uygularken. Claude Opus 5.5, 20 hatalı sonuçtan 6'sını kabul etti, ancak düzeltmeyi 20'sinin tamamında uyguladı. Çalıştırmalardan sonra bulduğumuz koruma öğelerimizdeki iki sorunun etkisini rapor ediyoruz ve kodu, öğe başına sonuçları ve hedeflenen test yanıtlarını yayınlıyoruz.

Orijinal Özet (İngilizce)

Medical physicists turn a prescription into a delivered dose and check one another's calculations, because one error in a beam calibration or a monitor-unit (MU) calculation can affect every patient treated with it. MedPhysBench has ten seeded generators of calculation items in radiation therapy, diagnostic imaging, nuclear medicine and radiation protection, up to clinical tasks such as a TG-51 calibration worksheet. Reference answers come from code implementing the governing protocols, and a grader converts units and applies tolerance bands. From the same inputs, separate checking items test error detection, showing a colleague's worksheet or only the colleague's result, half correct and half with one planted error. On a held-out test split of 1,200 items (half for two models), 12 models scored 33.3 to 100.0% on calculation. Of the nine answers graded incorrect for the four best (99.3-100.0%), five contained model errors and four followed NCRP Report 151 on points our items misstate or leave open. Below them, most models did worst on level-3 clinical tasks, and Claude Sonnet 5.5 omitted the inverse-square correction in 19 of 20 isocentric MU items. Five models detected at least 96.7% of mostly large planted errors with at most 4% false alarms; for four of the other seven, checking only the result raised false alarms significantly. In an exploratory targeted test with 20 public cases of an omitted inverse-square correction, the three best models tested caught it in every worksheet, and three weaker models accepted 16 to 18 of 20 planted worksheets, one of them while applying the correction in most of its own calculations. Claude Opus 5.5 accepted 6 of 20 wrong results, although it applied the correction in all 20 of its own. We report the effect of two problems in our shielding items, found after the runs, and release the code, per-item outcomes and targeted-test responses.

Kaynak: arXiv:2611.05340 · PDF