Расскажи почему: Визуальные базовые модели как самодостаточные объясняемые классификаторы

Tell me why: Visual foundation models as self-explainable classifiers

February 26, 2025

Авторы: Hugues Turbé, Mina Bjelogrlic, Gianmarco Mengaldo, Christian Lovis

cs.AI

Аннотация

Визуальные базовые модели (VFMs) становятся все более популярными благодаря их передовой производительности. Однако интерпретируемость остается критически важной для ответственных приложений. В этом контексте самопоясняемые модели (SEM) направлены на предоставление интерпретируемых классификаторов, которые разлагают предсказания на взвешенную сумму интерпретируемых концепций. Несмотря на их перспективность, недавние исследования показали, что такие объяснения часто недостаточно достоверны. В данной работе мы объединяем VFMs с новой прототипической архитектурой и специализированными целевыми функциями обучения. Обучая только легковесный верхний слой (примерно 1 млн параметров) поверх замороженных VFMs, наш подход (ProtoFM) предлагает эффективное и интерпретируемое решение. Оценки показывают, что наш подход достигает конкурентоспособной производительности в классификации, превосходя существующие модели по ряду метрик интерпретируемости, основанных на литературе. Код доступен по адресу https://github.com/hturbe/proto-fm.

English

Visual foundation models (VFMs) have become increasingly popular due to their state-of-the-art performance. However, interpretability remains crucial for critical applications. In this sense, self-explainable models (SEM) aim to provide interpretable classifiers that decompose predictions into a weighted sum of interpretable concepts. Despite their promise, recent studies have shown that these explanations often lack faithfulness. In this work, we combine VFMs with a novel prototypical architecture and specialized training objectives. By training only a lightweight head (approximately 1M parameters) on top of frozen VFMs, our approach (ProtoFM) offers an efficient and interpretable solution. Evaluations demonstrate that our approach achieves competitive classification performance while outperforming existing models across a range of interpretability metrics derived from the literature. Code is available at https://github.com/hturbe/proto-fm.