고급 환자 시뮬레이터를 활용한 질문-진단 관계 탐구

Exploring the Inquiry-Diagnosis Relationship with Advanced Patient Simulators

January 16, 2025

저자: Zhaocheng Liu, Quan Tu, Wen Ye, Yu Xiao, Zhishou Zhang, Hengfu Cui, Yalun Zhu, Qiang Ju, Shizheng Li, Jian Xie

cs.AI

초록

온라인 의료 상담(OMC)은 의사들이 환자 정보를 조사하는 데 문의를 통해서만 수집하도록 제한하여 이미 복잡한 진단의 순차적 의사 결정 과정을 더욱 어렵게 만듭니다. 최근 대형 언어 모델의 신속한 발전은 OMC를 변형시키는 중요한 잠재력을 보여주었습니다. 그러나 대부분의 연구는 비교적 충분한 정보가 있는 조건에서 진단 정확도를 향상시키는 데 주로 초점을 맞추었으며 상담 과정의 "조사" 단계에 제한적인 관심을 기울였습니다. 이러한 초점 부족으로 인해 "조사"와 "진단" 사이의 관계가 충분히 탐구되지 않은 상태입니다. 본 논문에서는 먼저 실제 의사-환자 대화에서 실제 환자 상호작용 전략을 추출하고 이러한 전략을 사용하여 현실 세계 행동을 밀접하게 모방하는 환자 시뮬레이터의 교육을 안내합니다. 의료 기록을 환자 시뮬레이터에 입력하여 환자 응답을 모방하고 "조사"와 "진단" 사이의 관계를 탐구하기 위해 광범위한 실험을 수행합니다. 실험 결과는 조사와 진단이 Liebig의 법칙을 준수함을 보여줍니다: 부족한 조사 품질은 진단의 효과를 제한하며 진단 능력과는 관계없이 그 반대도 마찬가지입니다. 또한 실험은 다양한 모델의 조사 성능에 중요한 차이가 있음을 밝혀냅니다. 이 현상을 조사하기 위해 우리는 조사 과정을 네 가지 유형으로 분류합니다: (1) 주요 불편 사항 조사; (2) 알려진 증상의 명시; (3) 동반 증상에 대한 조사; 및 (4) 가족 또는 의료 기록 수집. 다양한 모델에 대한 네 가지 유형의 조사 분포를 분석하여 그들의 중요한 성능 차이의 이유를 탐구합니다. 우리는 환자 시뮬레이터의 가중치와 관련 코드를 https://github.com/LIO-H-ZEN/PatientSimulator에서 오픈 소스로 공개할 계획입니다.

English

Online medical consultation (OMC) restricts doctors to gathering patient information solely through inquiries, making the already complex sequential decision-making process of diagnosis even more challenging. Recently, the rapid advancement of large language models has demonstrated a significant potential to transform OMC. However, most studies have primarily focused on improving diagnostic accuracy under conditions of relatively sufficient information, while paying limited attention to the "inquiry" phase of the consultation process. This lack of focus has left the relationship between "inquiry" and "diagnosis" insufficiently explored. In this paper, we first extract real patient interaction strategies from authentic doctor-patient conversations and use these strategies to guide the training of a patient simulator that closely mirrors real-world behavior. By inputting medical records into our patient simulator to simulate patient responses, we conduct extensive experiments to explore the relationship between "inquiry" and "diagnosis" in the consultation process. Experimental results demonstrate that inquiry and diagnosis adhere to the Liebig's law: poor inquiry quality limits the effectiveness of diagnosis, regardless of diagnostic capability, and vice versa. Furthermore, the experiments reveal significant differences in the inquiry performance of various models. To investigate this phenomenon, we categorize the inquiry process into four types: (1) chief complaint inquiry; (2) specification of known symptoms; (3) inquiry about accompanying symptoms; and (4) gathering family or medical history. We analyze the distribution of inquiries across the four types for different models to explore the reasons behind their significant performance differences. We plan to open-source the weights and related code of our patient simulator at https://github.com/LIO-H-ZEN/PatientSimulator.