현재의 병리학 기반 모델은 의료 센터 간의 차이에 대해 견고하지 못하다.

Current Pathology Foundation Models are unrobust to Medical Center Differences

January 29, 2025

저자: Edwin D. de Jong, Eric Marcus, Jonas Teuwen

cs.AI

초록

병리학 기반 모델(FMs)은 의료 분야에서 큰 잠재력을 가지고 있습니다. 임상 실무에서 사용되기 전에 의료 센터 간의 변이에 견고한지 확인하는 것이 중요합니다. 우리는 병리학 FMs가 조직 및 암 종류와 같은 생물학적 특징에 중점을 둘지, 아니면 염색 과정과 기타 차이로 인해 도입된 잘 알려진 혼란스러운 의료 센터 서명에 중점을 둘지를 측정합니다. 우리는 견고성 지수를 소개합니다. 이 혁신적인 견고성 측정 항목은 생물학적 특징이 혼란스러운 특징을 얼마나 지배하는지를 반영합니다. 현재 공개된 10가지 병리학 기반 모델을 평가합니다. 우리는 모든 현재의 병리학 기반 모델이 의료 센터를 강하게 대표한다는 것을 발견했습니다. 견고성 지수에서 상당한 차이가 관찰되었습니다. 지금까지 하나의 모델만 견고성 지수가 1보다 크며, 이는 생물학적 특징이 혼란스러운 특징을 약간 우세하게 한다는 것을 의미합니다. 의료 센터 간의 차이가 FM 기반 예측 성능에 미치는 영향을 측정하는 양적 접근 방법이 설명됩니다. 우리는 비견고성이 하류 모델의 분류 성능에 미치는 영향을 분석하고, 암 종류 분류 오류가 무작위가 아니라 동일 의료 센터의 다른 클래스 이미지로 구분되는 것을 발견했습니다. 우리는 FM 임베딩 공간을 시각화하고, 이들이 생물학적 요소보다 의료 센터에 의해 더 강력하게 구성되어 있는 것을 발견했습니다. 그 결과로, 출처 의료 센터가 조직 출처 및 암 종류보다 더 정확하게 예측됩니다. 여기 소개된 견고성 지수는 견고하고 신뢰할 수 있는 병리학 FMs의 임상 채택으로 나아가는 진전을 위해 제공됩니다.

English

Pathology Foundation Models (FMs) hold great promise for healthcare. Before they can be used in clinical practice, it is essential to ensure they are robust to variations between medical centers. We measure whether pathology FMs focus on biological features like tissue and cancer type, or on the well known confounding medical center signatures introduced by staining procedure and other differences. We introduce the Robustness Index. This novel robustness metric reflects to what degree biological features dominate confounding features. Ten current publicly available pathology FMs are evaluated. We find that all current pathology foundation models evaluated represent the medical center to a strong degree. Significant differences in the robustness index are observed. Only one model so far has a robustness index greater than one, meaning biological features dominate confounding features, but only slightly. A quantitative approach to measure the influence of medical center differences on FM-based prediction performance is described. We analyze the impact of unrobustness on classification performance of downstream models, and find that cancer-type classification errors are not random, but specifically attributable to same-center confounders: images of other classes from the same medical center. We visualize FM embedding spaces, and find these are more strongly organized by medical centers than by biological factors. As a consequence, the medical center of origin is predicted more accurately than the tissue source and cancer type. The robustness index introduced here is provided with the aim of advancing progress towards clinical adoption of robust and reliable pathology FMs.