Esplorazione della relazione domanda-diagnosi con simulatori avanzati di pazienti.

Exploring the Inquiry-Diagnosis Relationship with Advanced Patient Simulators

January 16, 2025

Autori: Zhaocheng Liu, Quan Tu, Wen Ye, Yu Xiao, Zhishou Zhang, Hengfu Cui, Yalun Zhu, Qiang Ju, Shizheng Li, Jian Xie

cs.AI

Abstract

La consulenza medica online (OMC) limita i medici a raccogliere informazioni dai pazienti esclusivamente attraverso domande, rendendo il già complesso processo decisionale sequenziale di diagnosi ancora più impegnativo. Recentemente, il rapido avanzamento dei grandi modelli linguistici ha dimostrato un significativo potenziale per trasformare l'OMC. Tuttavia, la maggior parte degli studi si è concentrata principalmente sul miglioramento dell'accuratezza diagnostica in condizioni di informazioni relativamente sufficienti, prestando scarso interesse alla fase di "domanda" del processo di consultazione. Questa mancanza di attenzione ha lasciato insufficientemente esplorato il rapporto tra "domanda" e "diagnosi". In questo articolo, estraiamo inizialmente strategie di interazione reale dei pazienti da autentiche conversazioni medico-paziente e utilizziamo tali strategie per guidare l'addestramento di un simulatore di pazienti che riflette da vicino il comportamento del mondo reale. Inserendo i record medici nel nostro simulatore di pazienti per simulare le risposte dei pazienti, conduciamo ampi esperimenti per esplorare il rapporto tra "domanda" e "diagnosi" nel processo di consultazione. I risultati sperimentali dimostrano che la domanda e la diagnosi rispettano la legge di Liebig: una scarsa qualità della domanda limita l'efficacia della diagnosi, indipendentemente dalla capacità diagnostica, e viceversa. Inoltre, gli esperimenti rivelano significative differenze nelle prestazioni di domanda di vari modelli. Per indagare su questo fenomeno, categorizziamo il processo di domanda in quattro tipi: (1) domanda sulla principale lamentela; (2) specificazione dei sintomi conosciuti; (3) domanda sui sintomi accompagnatori; e (4) raccolta della storia familiare o medica. Analizziamo la distribuzione delle domande nei quattro tipi per i diversi modelli per esplorare le ragioni dietro le significative differenze nelle prestazioni. Abbiamo intenzione di rendere open-source i pesi e il codice correlato del nostro simulatore di pazienti su https://github.com/LIO-H-ZEN/PatientSimulator.

English

Online medical consultation (OMC) restricts doctors to gathering patient information solely through inquiries, making the already complex sequential decision-making process of diagnosis even more challenging. Recently, the rapid advancement of large language models has demonstrated a significant potential to transform OMC. However, most studies have primarily focused on improving diagnostic accuracy under conditions of relatively sufficient information, while paying limited attention to the "inquiry" phase of the consultation process. This lack of focus has left the relationship between "inquiry" and "diagnosis" insufficiently explored. In this paper, we first extract real patient interaction strategies from authentic doctor-patient conversations and use these strategies to guide the training of a patient simulator that closely mirrors real-world behavior. By inputting medical records into our patient simulator to simulate patient responses, we conduct extensive experiments to explore the relationship between "inquiry" and "diagnosis" in the consultation process. Experimental results demonstrate that inquiry and diagnosis adhere to the Liebig's law: poor inquiry quality limits the effectiveness of diagnosis, regardless of diagnostic capability, and vice versa. Furthermore, the experiments reveal significant differences in the inquiry performance of various models. To investigate this phenomenon, we categorize the inquiry process into four types: (1) chief complaint inquiry; (2) specification of known symptoms; (3) inquiry about accompanying symptoms; and (4) gathering family or medical history. We analyze the distribution of inquiries across the four types for different models to explore the reasons behind their significant performance differences. We plan to open-source the weights and related code of our patient simulator at https://github.com/LIO-H-ZEN/PatientSimulator.