Birleşik Krallık dijital sağlık şirketi Numan, LangChain blogunda AI sağlık koçu Nu‘yu nasıl “değerlendirme (eval) öncelikli” bir yaklaşımla kurduğunu anlattı. Numan, kilo, hormon ve cinsel sağlık gibi uzun süreli durumları yöneten hastalara uygulama üzerinden destek veriyor. Yazının ana tezi: Ajanı ve otomasyonu kurmaktan daha kritik olan şey, iyi bir koçluk deneyimi sunarken tıbbi tanı, reçete veya klinik karar sınırını aşmamayı ölçen değerlendirme kriterlerinin kalitesi.
Standart eval’lar neden yetmedi?
Ekip önce sabit girdi–beklenen çıktı veri seti ve tek yanıtı puanlayan bir LLM yargıcıyla başladı. Koçluk tek bir cevap değil konuşma olduğu için bu yaklaşım iki şekilde bozuldu: (1) Tek tur fixture’lar, güvenliğin bağlama bağlı olduğu durumları ve koçun empati–keşif–tavsiyeyi konuşmaya yaymasını cezalandırıyordu; ortalama skor bir grup kötü yanıtı gizliyordu. (2) Önceden yazılmış çok turlu senaryolar, Nu’nun ilk turda beklenmeyen bir şey söylemesiyle sonraki tüm turları “hiç yaşanmamış” bir konuşmaya yanıt vermeye zorluyordu.
Bugünkü çerçeve
Nu bir LangGraph grafiği: Bir süpervizör modeli, her biri kendi istemi ve araçları olan alan uzmanı alt ajanlara yönlendiriyor. Tek yanıtın gösterebileceği şeyler (doğru uzmana yönlendirme, ilaç sorusunda güvenli cevap, güvenlik korumasının yakaladığı ihlaller) kategorilere ayrılmış veri setleriyle ve kategori başına LLM yargıcıyla ölçülüyor. Konuşmanın tamamını gerektiren davranışlar için ekip şu an prototip aşamasında simüle edilmiş konuşmalar kullanıyor: Daha ucuz bir model hasta kişiliğini oynuyor, gerçek ajanla çok turlu sohbet ediyor, sonra bir yargıç tüm dökümü kategori kategori puanlıyor.
Ekip “sevk ettiğimiz şey, test ettiğimiz şeydir” ilkesini benimsiyor: Ayrı bir test düzeni yok; her eval hastanın konuştuğu aynı LangGraph grafiğinden geçiyor. Bu sayede farklı model sağlayıcılarını aynı veri setleriyle yan yana karşılaştırabildiler; bir sağlayıcı geçişi “normalde haftalar süren manuel test” yerine bir günde tamamlandı. Nu bugün süpervizör ve uzmanlar için iki farklı öncü sağlayıcı kullanıyor.
Düzenleyici sınır ve güvenlik
MHRA rehberliğine göre tıbbi amaçlı (klinik tavsiye, tanı, tedavi önerisi) yazılım ürünü tıbbi cihaz sayılıyor. Nu, yaşam tarzı koçluğu ve eğitim için bir wellness ürünü olarak tasarlandı; tanı koymaz, reçete yazmaz, hastalığı izlemez. Güvenlik sondaları kategori bazlı metrik olarak her değişiklikte çalışıyor ve gerileme otomatik olarak yayını engelliyor. Grafikteki güvenlik (guard) düğümleri her giden yanıtı sabit klinik güvenlik kurallarına göre inceliyor; güvensiz taslak süpervizöre geri gönderiliyor, tekrar başarısız olursa güvenli bir yedekle değiştiriliyor. Ayrıca sağlık koçları her gün gerçek konuşma örneklerini inceliyor.
Simüle konuşma katmanı için yazarlık edilen kriterlerin çelişebildiği (ör. doz kaçırma senaryosunda “klinisyene yönlendir” ile “prospektüsten genel bilgi ver” çatışması) vurgulanıyor: Kıt ve değerli varlık istem değil, klinikçinin imzaladığı eval kriterleri. Bu katman, klinikçi rubric’i imzalayana kadar güvenlik iddiası için kapı görevi görmüyor. Yazı, Numan’ın Nu’yu tıbbi cihaz değil wellness ürünü olarak konumlandırdığını açıkça belirtiyor.
Kaynak: LangChain Blog: How Numan built an eval-first AI health coach
Henüz yorum yok. İlk yorumu siz yapın!