Büyük dil modelleri tıp lisans sınavlarında neredeyse kusursuz puanlar alıyor; ancak Stanford araştırmacıları Nigam Shah ve Jonathan Chen’e göre çoktan seçmeli bir sınavı geçmek ile bir sağlık sisteminde çalışmak çok farklı şeyler. Stanford HAI’de yayımlanan yazıda ekip, üç yıl boyunca giderek zorlaşan ve gerçekçi hâle gelen tıbbi yapay zekâ benchmark’larından çıkardıkları dersleri paylaştı. Ortak sonuç: Bugünün en iyi yapay zekâ ajanları işin yarısından azını tamamlıyor.
MedHELM: İşin tamamını haritalamak
2024 başında başlatılan MedHELM, 29 klinisyenin katkısıyla 5 kategori, 22 alt kategori ve 121 görevden oluşan bir sınıflandırma kurdu. 37 veri setiyle dokuz öncü model değerlendirildi. Modeller klinik not yazma ve hasta iletişiminde daha iyi sonuç verirken, klinik karar desteği (kazanma oranı 0,63–0,77) ile idari işler ve iş akışı (0,53–0,63) kategorilerinde zorlandı. Yazarlar, bunların tam da sağlık sistemlerinin en çok yardım istediği alanlar olduğunu; ABD’de idari harcamaların yılda 1 trilyon doları aştığını hatırlatıyor.
PhysicianBench: Klinik işi uçtan uca yapabiliyor mu?
PhysicianBench, birinci basamak hekimleri ile uzmanlar arasındaki gerçek konsültasyonlardan uyarlanmış, 21 uzmanlık alanında 100 uzun soluklu, çok adımlı görev içeriyor. Görevler sentetik olarak yeniden oluşturulmuş hasta kayıtlarıyla bir elektronik sağlık kaydı (EHR) ortamında yapılıyor; ortalama bir görev 27 araç çağrısı gerektiriyor. 12 model arasında en iyisi GPT-5.5, tek denemede görevlerin yüzde 46‘sını tamamladı; en iyi açık kaynak model DeepSeek V4-Pro yüzde 19’da kaldı. GPT-5.5 görevlerin yalnızca yüzde 28’ini üç denemenin üçünde de doğru yaptı.
Dikkat çeken bir hata türü de ortaya çıktı: Eylem yürütme hatalarının GPT-5.5’te yüzde 62’si, Claude Opus 4.6’da yüzde 73’ü, ajanın doğru eylemi notuna yazdığı ama EHR’de siparişi hiç vermediği durumlardı.
HealthAdminBench: İdari işler
HealthAdminBench, Stanford Health Care’de idari personelin 100 saatten fazla gözlemlenmesiyle kurulan dört simüle web ortamında (EHR, iki sigorta portalı ve faks sistemi) 135 görev içeriyor: ön onaylar, itirazlar ve tıbbi ekipman siparişleri. O dönem test edilen en iyi ajan Claude Opus 4.6, görevlerin yüzde 36,3‘ünü uçtan uca tamamladı; en iyi açık ağırlıklı model Kimi K2.5 yüzde 15,6’da kaldı. GPT-5.4, alt görevlerin yüzde 82,8’ini geçmesine rağmen görevlerin yalnızca yüzde 26,7’sini bütünüyle tamamlayabildi.
Sonuç: Sorun hafıza ve koordinasyon
Yazarlar iki benchmark’ın sonuçlarının doğrudan karşılaştırılamayacağını, ancak yönün aynı olduğunu vurguluyor: Ajanlar adımlar, belgeler ve sistemler arasında bilgiyi taşımakta başarısız oluyor; dosya yükleme/indirme adımlarını kaçırıyor ve önceki hataları düzeltmeye nadiren geri dönüyor. Ekibe göre çözüm en az daha büyük modeller kadar daha iyi ajan mimarisi ve hafızadan geçiyor. MedHELM Apache 2.0 lisanslı ve topluluk katkısına açık; ekip PhysicianBench ve HealthAdminBench’i de MedHELM’e ekliyor.
Kaynak: Stanford HAI: Measuring What Medical AI Can Actually Do
Henüz yorum yok. İlk yorumu siz yapın!