Исследование взаимосвязи между запросом и диагнозом с использованием передовых пациентских симуляторов.

Exploring the Inquiry-Diagnosis Relationship with Advanced Patient Simulators

January 16, 2025

Авторы: Zhaocheng Liu, Quan Tu, Wen Ye, Yu Xiao, Zhishou Zhang, Hengfu Cui, Yalun Zhu, Qiang Ju, Shizheng Li, Jian Xie

cs.AI

Аннотация

Онлайн медицинское консультирование (ОМК) ограничивает врачей в получении информации о пациенте исключительно через запросы, что делает уже сложный последовательный процесс принятия решений при диагностике еще более сложным. Недавние быстрые достижения в области крупных языковых моделей продемонстрировали значительный потенциал для трансформации ОМК. Однако большинство исследований в основном сосредоточены на повышении точности диагностики в условиях относительно достаточной информации, уделяя ограниченное внимание "фазе запроса" в процессе консультации. Этот недостаток внимания привел к недостаточному изучению взаимосвязи между "запросом" и "диагнозом". В данной статье мы сначала извлекаем стратегии взаимодействия с реальными пациентами из аутентичных разговоров врача с пациентом и используем эти стратегии для направления обучения пациентского симулятора, который тесно отражает поведение в реальном мире. Подавая медицинские записи в наш пациентский симулятор для имитации ответов пациента, мы проводим обширные эксперименты для изучения взаимосвязи между "запросом" и "диагнозом" в процессе консультации. Экспериментальные результаты показывают, что запрос и диагноз следуют закону Либиха: низкое качество запроса ограничивает эффективность диагностики, независимо от диагностической способности, и наоборот. Более того, эксперименты выявляют значительные различия в качестве запроса различных моделей. Для изучения этого явления мы классифицируем процесс запроса на четыре типа: (1) запрос о главных жалобах; (2) уточнение известных симптомов; (3) запрос о сопутствующих симптомах; и (4) сбор семейного или медицинского анамнеза. Мы анализируем распределение запросов по четырем типам для различных моделей, чтобы исследовать причины их значительных различий в производительности. Мы планируем сделать веса и связанный код нашего пациентского симулятора общедоступными на https://github.com/LIO-H-ZEN/PatientSimulator.

English

Online medical consultation (OMC) restricts doctors to gathering patient information solely through inquiries, making the already complex sequential decision-making process of diagnosis even more challenging. Recently, the rapid advancement of large language models has demonstrated a significant potential to transform OMC. However, most studies have primarily focused on improving diagnostic accuracy under conditions of relatively sufficient information, while paying limited attention to the "inquiry" phase of the consultation process. This lack of focus has left the relationship between "inquiry" and "diagnosis" insufficiently explored. In this paper, we first extract real patient interaction strategies from authentic doctor-patient conversations and use these strategies to guide the training of a patient simulator that closely mirrors real-world behavior. By inputting medical records into our patient simulator to simulate patient responses, we conduct extensive experiments to explore the relationship between "inquiry" and "diagnosis" in the consultation process. Experimental results demonstrate that inquiry and diagnosis adhere to the Liebig's law: poor inquiry quality limits the effectiveness of diagnosis, regardless of diagnostic capability, and vice versa. Furthermore, the experiments reveal significant differences in the inquiry performance of various models. To investigate this phenomenon, we categorize the inquiry process into four types: (1) chief complaint inquiry; (2) specification of known symptoms; (3) inquiry about accompanying symptoms; and (4) gathering family or medical history. We analyze the distribution of inquiries across the four types for different models to explore the reasons behind their significant performance differences. We plan to open-source the weights and related code of our patient simulator at https://github.com/LIO-H-ZEN/PatientSimulator.