Explorando a Relação Investigação-Diagnóstico com Simuladores Avançados de Pacientes.

Exploring the Inquiry-Diagnosis Relationship with Advanced Patient Simulators

January 16, 2025

Autores: Zhaocheng Liu, Quan Tu, Wen Ye, Yu Xiao, Zhishou Zhang, Hengfu Cui, Yalun Zhu, Qiang Ju, Shizheng Li, Jian Xie

cs.AI

Resumo

A consulta médica online (CMO) restringe os médicos a coletar informações dos pacientes exclusivamente por meio de perguntas, tornando o processo de tomada de decisão sequencial do diagnóstico, que já é complexo, ainda mais desafiador. Recentemente, o avanço rápido de grandes modelos de linguagem demonstrou um potencial significativo para transformar a CMO. No entanto, a maioria dos estudos tem se concentrado principalmente em melhorar a precisão diagnóstica em condições de informações relativamente suficientes, enquanto presta atenção limitada à fase de "pergunta" do processo de consulta. Essa falta de foco deixou a relação entre "pergunta" e "diagnóstico" insuficientemente explorada. Neste artigo, extraímos estratégias reais de interação do paciente a partir de conversas autênticas entre médicos e pacientes e usamos essas estratégias para orientar o treinamento de um simulador de paciente que reproduz de perto o comportamento do mundo real. Ao inserir registros médicos em nosso simulador de paciente para simular respostas do paciente, realizamos experimentos extensivos para explorar a relação entre "pergunta" e "diagnóstico" no processo de consulta. Os resultados experimentais demonstram que a pergunta e o diagnóstico seguem a Lei de Liebig: a baixa qualidade da pergunta limita a eficácia do diagnóstico, independentemente da capacidade diagnóstica, e vice-versa. Além disso, os experimentos revelam diferenças significativas no desempenho da pergunta de vários modelos. Para investigar esse fenômeno, categorizamos o processo de pergunta em quatro tipos: (1) pergunta sobre queixa principal; (2) especificação de sintomas conhecidos; (3) pergunta sobre sintomas acompanhantes; e (4) coleta de histórico familiar ou médico. Analisamos a distribuição de perguntas entre os quatro tipos para diferentes modelos a fim de explorar as razões por trás de suas diferenças significativas de desempenho. Planejamos disponibilizar os pesos e o código relacionado do nosso simulador de paciente em código aberto em https://github.com/LIO-H-ZEN/PatientSimulator.

English

Online medical consultation (OMC) restricts doctors to gathering patient information solely through inquiries, making the already complex sequential decision-making process of diagnosis even more challenging. Recently, the rapid advancement of large language models has demonstrated a significant potential to transform OMC. However, most studies have primarily focused on improving diagnostic accuracy under conditions of relatively sufficient information, while paying limited attention to the "inquiry" phase of the consultation process. This lack of focus has left the relationship between "inquiry" and "diagnosis" insufficiently explored. In this paper, we first extract real patient interaction strategies from authentic doctor-patient conversations and use these strategies to guide the training of a patient simulator that closely mirrors real-world behavior. By inputting medical records into our patient simulator to simulate patient responses, we conduct extensive experiments to explore the relationship between "inquiry" and "diagnosis" in the consultation process. Experimental results demonstrate that inquiry and diagnosis adhere to the Liebig's law: poor inquiry quality limits the effectiveness of diagnosis, regardless of diagnostic capability, and vice versa. Furthermore, the experiments reveal significant differences in the inquiry performance of various models. To investigate this phenomenon, we categorize the inquiry process into four types: (1) chief complaint inquiry; (2) specification of known symptoms; (3) inquiry about accompanying symptoms; and (4) gathering family or medical history. We analyze the distribution of inquiries across the four types for different models to explore the reasons behind their significant performance differences. We plan to open-source the weights and related code of our patient simulator at https://github.com/LIO-H-ZEN/PatientSimulator.