Trasferimento di Conoscenza tra Modalità con Supervisione di Linguaggio Naturale

Knowledge Transfer Across Modalities with Natural Language Supervision

November 23, 2024

Autori: Carlo Alberto Barbano, Luca Molinaro, Emanuele Aiello, Marco Grangetto

cs.AI

Abstract

Presentiamo un modo per apprendere concetti nuovi utilizzando esclusivamente la loro descrizione testuale. Chiamiamo questo metodo Trasferimento di Conoscenza. Analogamente alla percezione umana, sfruttiamo l'interazione cross-modale per introdurre nuovi concetti. Ipotizziamo che in un codificatore visivo pre-addestrato ci siano abbastanza caratteristiche a basso livello già apprese (ad es. forma, aspetto, colore) che possono essere utilizzate per descrivere concetti ad alto livello precedentemente sconosciuti. Fornita una descrizione testuale del concetto nuovo, il nostro metodo funziona allineando le caratteristiche a basso livello conosciute del codificatore visivo alla sua descrizione testuale ad alto livello. Dimostriamo che il Trasferimento di Conoscenza può introdurre con successo concetti nuovi in modelli multimodali, in modo molto efficiente, richiedendo solo una singola descrizione del concetto target. Il nostro approccio è compatibile sia con codificatori testuali e visivi separati (ad es. CLIP) sia con parametri condivisi tra le modalità. Mostriamo inoltre che, seguendo lo stesso principio, il Trasferimento di Conoscenza può migliorare i concetti già noti al modello. Sfruttando il Trasferimento di Conoscenza miglioriamo le prestazioni zero-shot su diversi compiti come classificazione, segmentazione, recupero immagine-testo e didascalia.

English

We present a way to learn novel concepts by only using their textual description. We call this method Knowledge Transfer. Similarly to human perception, we leverage cross-modal interaction to introduce new concepts. We hypothesize that in a pre-trained visual encoder there are enough low-level features already learned (e.g. shape, appearance, color) that can be used to describe previously unknown high-level concepts. Provided with a textual description of the novel concept, our method works by aligning the known low-level features of the visual encoder to its high-level textual description. We show that Knowledge Transfer can successfully introduce novel concepts in multimodal models, in a very efficient manner, by only requiring a single description of the target concept. Our approach is compatible with both separate textual and visual encoders (e.g. CLIP) and shared parameters across modalities. We also show that, following the same principle, Knowledge Transfer can improve concepts already known by the model. Leveraging Knowledge Transfer we improve zero-shot performance across different tasks such as classification, segmentation, image-text retrieval, and captioning.