Улучшение локализации аномалий в моделях обработки визуальной информации и языка с использованием описаний знаний

Enhancing Abnormality Grounding for Vision Language Models with Knowledge Descriptions

March 5, 2025

Авторы: Jun Li, Che Liu, Wenjia Bai, Rossella Arcucci, Cosmin I. Bercea, Julia A. Schnabel

cs.AI

Аннотация

Модели визуального языка (VLMs) продемонстрировали впечатляющие способности в задачах визуального заземления. Однако их эффективность в медицинской области, особенно в обнаружении и локализации аномалий на медицинских изображениях, остается недостаточно изученной. Основная сложность заключается в сложной и абстрактной природе медицинской терминологии, что затрудняет прямое сопоставление терминов патологических аномалий с соответствующими визуальными признаками. В данной работе мы представляем новый подход для повышения производительности VLMs в обнаружении и локализации медицинских аномалий за счет использования декомпозированных медицинских знаний. Вместо того чтобы напрямую указывать моделям распознавать конкретные аномалии, мы сосредотачиваемся на разбиении медицинских концепций на фундаментальные атрибуты и общие визуальные паттерны. Эта стратегия способствует более сильному согласованию текстовых описаний и визуальных признаков, улучшая как распознавание, так и локализацию аномалий на медицинских изображениях. Мы оцениваем наш метод на базовой модели Florence-2 объемом 0.23B и показываем, что он достигает сопоставимой производительности в заземлении аномалий с значительно более крупными медицинскими VLMs на основе LLaVA объемом 7B, несмотря на обучение всего на 1.5% данных, используемых для таких моделей. Экспериментальные результаты также демонстрируют эффективность нашего подхода как для известных, так и для ранее не встречавшихся аномалий, что указывает на его сильные обобщающие способности.

English

Visual Language Models (VLMs) have demonstrated impressive capabilities in visual grounding tasks. However, their effectiveness in the medical domain, particularly for abnormality detection and localization within medical images, remains underexplored. A major challenge is the complex and abstract nature of medical terminology, which makes it difficult to directly associate pathological anomaly terms with their corresponding visual features. In this work, we introduce a novel approach to enhance VLM performance in medical abnormality detection and localization by leveraging decomposed medical knowledge. Instead of directly prompting models to recognize specific abnormalities, we focus on breaking down medical concepts into fundamental attributes and common visual patterns. This strategy promotes a stronger alignment between textual descriptions and visual features, improving both the recognition and localization of abnormalities in medical images.We evaluate our method on the 0.23B Florence-2 base model and demonstrate that it achieves comparable performance in abnormality grounding to significantly larger 7B LLaVA-based medical VLMs, despite being trained on only 1.5% of the data used for such models. Experimental results also demonstrate the effectiveness of our approach in both known and previously unseen abnormalities, suggesting its strong generalization capabilities.