Miglioramento del Rilevamento OoD attraverso l'Allineamento Cross-Modale delle Rappresentazioni Multi-Modali

Enhanced OoD Detection through Cross-Modal Alignment of Multi-Modal Representations

March 24, 2025

Autori: Jeonghyeon Kim, Sangheum Hwang

cs.AI

Abstract

La ricerca precedente sul rilevamento fuori distribuzione (OoDD) si è concentrata principalmente su modelli a singola modalità. Recentemente, con l'avvento di modelli visione-linguaggio preaddestrati su larga scala come CLIP, sono emersi metodi OoDD che utilizzano tali rappresentazioni multimodali attraverso strategie di apprendimento zero-shot e prompt. Tuttavia, questi metodi comportano tipicamente il congelamento dei pesi preaddestrati o solo una loro parziale regolazione, il che può essere subottimale per i dataset downstream. In questo articolo, evidenziamo che il fine-tuning multimodale (MMFT) può raggiungere prestazioni OoDD notevoli. Nonostante alcuni lavori recenti abbiano dimostrato l'impatto dei metodi di fine-tuning per l'OoDD, rimane un potenziale significativo per il miglioramento delle prestazioni. Investigiamo il limite dei metodi di fine-tuning ingenui, esaminando perché non riescono a sfruttare appieno la conoscenza preaddestrata. La nostra analisi empirica suggerisce che questo problema potrebbe derivare dal divario modale all'interno degli embedding in-distribuzione (ID). Per affrontare ciò, proponiamo un obiettivo di addestramento che migliora l'allineamento cross-modale regolarizzando le distanze tra gli embedding di immagini e testi dei dati ID. Questo aggiustamento aiuta a utilizzare meglio le informazioni testuali preaddestrate allineando semantiche simili da diverse modalità (cioè testo e immagine) più strettamente nello spazio di rappresentazione ipersferico. Dimostriamo teoricamente che la regolarizzazione proposta corrisponde alla stima di massima verosimiglianza di un modello basato su energia su un'ipersfera. Utilizzando i dataset benchmark OoD di ImageNet-1k, mostriamo che il nostro metodo, combinato con approcci OoDD post-hoc che sfruttano la conoscenza preaddestrata (ad esempio, NegLabel), supera significativamente i metodi esistenti, raggiungendo prestazioni OoDD all'avanguardia e una precisione ID leader.

English

Prior research on out-of-distribution detection (OoDD) has primarily focused on single-modality models. Recently, with the advent of large-scale pretrained vision-language models such as CLIP, OoDD methods utilizing such multi-modal representations through zero-shot and prompt learning strategies have emerged. However, these methods typically involve either freezing the pretrained weights or only partially tuning them, which can be suboptimal for downstream datasets. In this paper, we highlight that multi-modal fine-tuning (MMFT) can achieve notable OoDD performance. Despite some recent works demonstrating the impact of fine-tuning methods for OoDD, there remains significant potential for performance improvement. We investigate the limitation of na\"ive fine-tuning methods, examining why they fail to fully leverage the pretrained knowledge. Our empirical analysis suggests that this issue could stem from the modality gap within in-distribution (ID) embeddings. To address this, we propose a training objective that enhances cross-modal alignment by regularizing the distances between image and text embeddings of ID data. This adjustment helps in better utilizing pretrained textual information by aligning similar semantics from different modalities (i.e., text and image) more closely in the hyperspherical representation space. We theoretically demonstrate that the proposed regularization corresponds to the maximum likelihood estimation of an energy-based model on a hypersphere. Utilizing ImageNet-1k OoD benchmark datasets, we show that our method, combined with post-hoc OoDD approaches leveraging pretrained knowledge (e.g., NegLabel), significantly outperforms existing methods, achieving state-of-the-art OoDD performance and leading ID accuracy.