Het verkennen van de relatie tussen onderzoek en diagnose met geavanceerde patiëntsimulatoren.

Exploring the Inquiry-Diagnosis Relationship with Advanced Patient Simulators

January 16, 2025

Auteurs: Zhaocheng Liu, Quan Tu, Wen Ye, Yu Xiao, Zhishou Zhang, Hengfu Cui, Yalun Zhu, Qiang Ju, Shizheng Li, Jian Xie

cs.AI

Samenvatting

Online medisch consult (OMC) beperkt artsen tot het verzamelen van patiëntinformatie uitsluitend via vragen, waardoor het reeds complexe sequentiële besluitvormingsproces van diagnose nog uitdagender wordt. Onlangs heeft de snelle vooruitgang van grote taalmodellen een aanzienlijk potentieel aangetoond om OMC te transformeren. Echter, de meeste studies hebben zich voornamelijk gericht op het verbeteren van de diagnostische nauwkeurigheid onder omstandigheden van relatief voldoende informatie, met beperkte aandacht voor de "vraag" fase van het consultatieproces. Dit gebrek aan focus heeft de relatie tussen "vraag" en "diagnose" onvoldoende verkend gelaten. In dit artikel extraheren we eerst echte patiëntinteractiestrategieën uit authentieke arts-patiëntgesprekken en gebruiken deze strategieën om de training van een patiëntsimulator te begeleiden die het gedrag in de echte wereld nauwkeurig nabootst. Door medische dossiers in te voeren in onze patiëntsimulator om patiëntreacties te simuleren, voeren we uitgebreide experimenten uit om de relatie tussen "vraag" en "diagnose" in het consultatieproces te verkennen. Experimentele resultaten tonen aan dat vraag en diagnose zich houden aan de wet van Liebig: een slechte vraagkwaliteit beperkt de effectiviteit van de diagnose, ongeacht de diagnostische capaciteit, en vice versa. Bovendien onthullen de experimenten significante verschillen in de vraagprestaties van verschillende modellen. Om dit fenomeen te onderzoeken, categoriseren we het vraagproces in vier typen: (1) vraag naar hoofdklachten; (2) specificatie van bekende symptomen; (3) vraag naar bijkomende symptomen; en (4) verzamelen van familie- of medische voorgeschiedenis. We analyseren de verdeling van vragen over de vier typen voor verschillende modellen om de redenen achter hun significante prestatieverschillen te verkennen. We zijn van plan om de gewichten en gerelateerde code van onze patiëntsimulator open-source te maken op https://github.com/LIO-H-ZEN/PatientSimulator.

English

Online medical consultation (OMC) restricts doctors to gathering patient information solely through inquiries, making the already complex sequential decision-making process of diagnosis even more challenging. Recently, the rapid advancement of large language models has demonstrated a significant potential to transform OMC. However, most studies have primarily focused on improving diagnostic accuracy under conditions of relatively sufficient information, while paying limited attention to the "inquiry" phase of the consultation process. This lack of focus has left the relationship between "inquiry" and "diagnosis" insufficiently explored. In this paper, we first extract real patient interaction strategies from authentic doctor-patient conversations and use these strategies to guide the training of a patient simulator that closely mirrors real-world behavior. By inputting medical records into our patient simulator to simulate patient responses, we conduct extensive experiments to explore the relationship between "inquiry" and "diagnosis" in the consultation process. Experimental results demonstrate that inquiry and diagnosis adhere to the Liebig's law: poor inquiry quality limits the effectiveness of diagnosis, regardless of diagnostic capability, and vice versa. Furthermore, the experiments reveal significant differences in the inquiry performance of various models. To investigate this phenomenon, we categorize the inquiry process into four types: (1) chief complaint inquiry; (2) specification of known symptoms; (3) inquiry about accompanying symptoms; and (4) gathering family or medical history. We analyze the distribution of inquiries across the four types for different models to explore the reasons behind their significant performance differences. We plan to open-source the weights and related code of our patient simulator at https://github.com/LIO-H-ZEN/PatientSimulator.