RaVL: Scoperta e Mitigazione delle Correlazioni Spurie nei Modelli Visione-Linguaggio Ottimizzati

RaVL: Discovering and Mitigating Spurious Correlations in Fine-Tuned Vision-Language Models

November 6, 2024

Autori: Maya Varma, Jean-Benoit Delbrouck, Zhihong Chen, Akshay Chaudhari, Curtis Langlotz

cs.AI

Abstract

I modelli visione-linguaggio (VLMs) ottimizzati spesso catturano correlazioni spurie tra le caratteristiche dell'immagine e gli attributi testuali, risultando in una performance zero-shot degradata durante il test. Gli approcci esistenti per affrontare le correlazioni spurie (i) operano principalmente a livello globale dell'immagine piuttosto che intervenire direttamente sulle caratteristiche dell'immagine dettagliate e (ii) sono principalmente progettati per impostazioni unimodali. In questo lavoro, presentiamo RaVL, che adotta una prospettiva dettagliata sulla robustezza dei VLM scoprendo e mitigando le correlazioni spurie utilizzando le caratteristiche locali dell'immagine anziché operare a livello globale dell'immagine. Dato un VLM ottimizzato, RaVL scopre prima le correlazioni spurie sfruttando un approccio di clustering a livello di regione per identificare precise caratteristiche dell'immagine che contribuiscono agli errori di classificazione zero-shot. Successivamente, RaVL mitiga la correlazione spuria identificata con una nuova funzione di perdita consapevole della regione che consente al VLM di concentrarsi sulle regioni rilevanti e ignorare le relazioni spurie durante l'ottimizzazione. Valutiamo RaVL su 654 VLM con varie architetture di modelli, domini di dati e correlazioni spurie apprese. I nostri risultati mostrano che RaVL scopre e mitiga accuratamente le correlazioni spurie (miglioramento del 191% rispetto alla baseline più vicina) e (miglioramento dell'8,2% sull'accuratezza della classificazione delle immagini del gruppo peggiore). Le valutazioni qualitative su VLM di dominio generale e medico confermano le nostre conclusioni.

English

Fine-tuned vision-language models (VLMs) often capture spurious correlations between image features and textual attributes, resulting in degraded zero-shot performance at test time. Existing approaches for addressing spurious correlations (i) primarily operate at the global image-level rather than intervening directly on fine-grained image features and (ii) are predominantly designed for unimodal settings. In this work, we present RaVL, which takes a fine-grained perspective on VLM robustness by discovering and mitigating spurious correlations using local image features rather than operating at the global image level. Given a fine-tuned VLM, RaVL first discovers spurious correlations by leveraging a region-level clustering approach to identify precise image features contributing to zero-shot classification errors. Then, RaVL mitigates the identified spurious correlation with a novel region-aware loss function that enables the VLM to focus on relevant regions and ignore spurious relationships during fine-tuning. We evaluate RaVL on 654 VLMs with various model architectures, data domains, and learned spurious correlations. Our results show that RaVL accurately discovers (191% improvement over the closest baseline) and mitigates (8.2% improvement on worst-group image classification accuracy) spurious correlations. Qualitative evaluations on general-domain and medical-domain VLMs confirm our findings.