Erkundung der Beziehung zwischen Anfrage und Diagnose mit fortschrittlichen Patientensimulatoren.

Exploring the Inquiry-Diagnosis Relationship with Advanced Patient Simulators

January 16, 2025

Autoren: Zhaocheng Liu, Quan Tu, Wen Ye, Yu Xiao, Zhishou Zhang, Hengfu Cui, Yalun Zhu, Qiang Ju, Shizheng Li, Jian Xie

cs.AI

Zusammenfassung

Die Online-Medikonsultation (OMC) beschränkt Ärzte darauf, Patienteninformationen ausschließlich durch Befragungen zu sammeln, was den ohnehin schon komplexen sequenziellen Entscheidungsfindungsprozess der Diagnose noch herausfordernder macht. In letzter Zeit hat der rasante Fortschritt großer Sprachmodelle ein erhebliches Potenzial zur Transformation der OMC gezeigt. Die meisten Studien haben sich jedoch hauptsächlich darauf konzentriert, die diagnostische Genauigkeit unter Bedingungen relativ ausreichender Informationen zu verbessern, während sie der "Befragung" -Phase des Konsultationsprozesses nur begrenzte Aufmerksamkeit geschenkt haben. Dieser Mangel an Fokus hat die Beziehung zwischen "Befragung" und "Diagnose" unzureichend erforscht. In diesem Artikel extrahieren wir zunächst reale Patienteninteraktionsstrategien aus authentischen Arzt-Patienten-Gesprächen und verwenden diese Strategien, um das Training eines Patientensimulators zu leiten, der das Verhalten der realen Welt genau widerspiegelt. Indem wir medizinische Aufzeichnungen in unseren Patientensimulator eingeben, um Patientenantworten zu simulieren, führen wir umfangreiche Experimente durch, um die Beziehung zwischen "Befragung" und "Diagnose" im Konsultationsprozess zu erforschen. Die experimentellen Ergebnisse zeigen, dass Befragung und Diagnose dem Liebigschen Gesetz folgen: Eine schlechte Befragungsqualität begrenzt die Wirksamkeit der Diagnose, unabhängig von der diagnostischen Fähigkeit, und umgekehrt. Darüber hinaus zeigen die Experimente signifikante Unterschiede in der Befragungsleistung verschiedener Modelle auf. Um dieses Phänomen zu untersuchen, kategorisieren wir den Befragungsprozess in vier Typen: (1) Befragung zur Hauptsymptomatik; (2) Spezifizierung bekannter Symptome; (3) Befragung zu begleitenden Symptomen; und (4) Sammlung von Familien- oder Krankengeschichte. Wir analysieren die Verteilung von Befragungen über die vier Typen für verschiedene Modelle, um die Gründe für ihre signifikanten Leistungsunterschiede zu erforschen. Wir planen, die Gewichte und den zugehörigen Code unseres Patientensimulators unter https://github.com/LIO-H-ZEN/PatientSimulator als Open-Source freizugeben.

English

Online medical consultation (OMC) restricts doctors to gathering patient information solely through inquiries, making the already complex sequential decision-making process of diagnosis even more challenging. Recently, the rapid advancement of large language models has demonstrated a significant potential to transform OMC. However, most studies have primarily focused on improving diagnostic accuracy under conditions of relatively sufficient information, while paying limited attention to the "inquiry" phase of the consultation process. This lack of focus has left the relationship between "inquiry" and "diagnosis" insufficiently explored. In this paper, we first extract real patient interaction strategies from authentic doctor-patient conversations and use these strategies to guide the training of a patient simulator that closely mirrors real-world behavior. By inputting medical records into our patient simulator to simulate patient responses, we conduct extensive experiments to explore the relationship between "inquiry" and "diagnosis" in the consultation process. Experimental results demonstrate that inquiry and diagnosis adhere to the Liebig's law: poor inquiry quality limits the effectiveness of diagnosis, regardless of diagnostic capability, and vice versa. Furthermore, the experiments reveal significant differences in the inquiry performance of various models. To investigate this phenomenon, we categorize the inquiry process into four types: (1) chief complaint inquiry; (2) specification of known symptoms; (3) inquiry about accompanying symptoms; and (4) gathering family or medical history. We analyze the distribution of inquiries across the four types for different models to explore the reasons behind their significant performance differences. We plan to open-source the weights and related code of our patient simulator at https://github.com/LIO-H-ZEN/PatientSimulator.