RaVL: 세부 조정된 시각-언어 모델에서의 가짜 상관 관계 발견과 완화

RaVL: Discovering and Mitigating Spurious Correlations in Fine-Tuned Vision-Language Models

November 6, 2024

저자: Maya Varma, Jean-Benoit Delbrouck, Zhihong Chen, Akshay Chaudhari, Curtis Langlotz

cs.AI

초록

미세 조정된 비전-언어 모델(VLMs)은 종종 이미지 특징과 텍스트 속성 간의 잘못된 상관 관계를 포착하여, 시험 시간에 성능이 저하된 제로샷 성능을 보입니다. 잘못된 상관 관계를 다루기 위한 기존 방법은 (i) 주로 전역 이미지 수준에서 작동하며 미세 조정된 이미지 특징에 직접 개입하지 않으며, (ii) 주로 단일 모달 설정을 대상으로 합니다. 본 연구에서는 RaVL을 제시하여, VLM의 강건성에 대한 미세한 관점을 제시하며, 전역 이미지 수준에서 작동하는 대신 지역 이미지 특징을 활용하여 잘못된 상관 관계를 발견하고 완화합니다. 미세 조정된 VLM이 주어졌을 때, RaVL은 먼저 영역 수준 클러스터링 접근을 활용하여 제로샷 분류 오류에 기여하는 정확한 이미지 특징을 식별하여 잘못된 상관 관계를 발견합니다. 그런 다음, RaVL은 새로운 영역 인식 손실 함수를 사용하여 식별된 잘못된 상관 관계를 완화시키며, VLM이 미세 조정 중에 관련 영역에 집중하고 잘못된 관계를 무시할 수 있도록 합니다. 우리는 다양한 모델 아키텍처, 데이터 도메인 및 학습된 잘못된 상관 관계를 가진 654개의 VLM에 대해 RaVL을 평가합니다. 결과는 RaVL이 잘못된 상관 관계를 정확하게 발견(최근접 기준선 대비 191% 향상)하고 완화(최악의 그룹 이미지 분류 정확도에서 8.2% 향상)시킨다는 것을 보여줍니다. 일반 도메인 및 의료 도메인 VLM에 대한 질적 평가는 우리의 결과를 확인합니다.

English

Fine-tuned vision-language models (VLMs) often capture spurious correlations between image features and textual attributes, resulting in degraded zero-shot performance at test time. Existing approaches for addressing spurious correlations (i) primarily operate at the global image-level rather than intervening directly on fine-grained image features and (ii) are predominantly designed for unimodal settings. In this work, we present RaVL, which takes a fine-grained perspective on VLM robustness by discovering and mitigating spurious correlations using local image features rather than operating at the global image level. Given a fine-tuned VLM, RaVL first discovers spurious correlations by leveraging a region-level clustering approach to identify precise image features contributing to zero-shot classification errors. Then, RaVL mitigates the identified spurious correlation with a novel region-aware loss function that enables the VLM to focus on relevant regions and ignore spurious relationships during fine-tuning. We evaluate RaVL on 654 VLMs with various model architectures, data domains, and learned spurious correlations. Our results show that RaVL accurately discovers (191% improvement over the closest baseline) and mitigates (8.2% improvement on worst-group image classification accuracy) spurious correlations. Qualitative evaluations on general-domain and medical-domain VLMs confirm our findings.