I vettori di attività sono cross-modali.

Task Vectors are Cross-Modal

October 29, 2024
Autori: Grace Luo, Trevor Darrell, Amir Bar
cs.AI

Abstract

Indaghiamo le rappresentazioni interne dei modelli di visione e linguaggio (VLM) e come codificano le rappresentazioni delle attività. Consideriamo attività specificate tramite esempi o istruzioni, utilizzando input di testo o immagini. Sorprendentemente, scopriamo che attività concettualmente simili sono mappate in rappresentazioni vettoriali di attività simili, indipendentemente da come sono specificate. I nostri risultati suggeriscono che per produrre risposte, i token nei VLM attraversano tre fasi distinte: input, attività e risposta, un processo che è coerente tra diverse modalità e specifiche. I vettori di attività che identifichiamo nei VLM sono sufficientemente generali da poter essere derivati in una modalità (ad esempio, testo) e trasferiti in un'altra (ad esempio, immagine). Inoltre, scopriamo che l'insieme di vettori di attività basati su esempi e istruzioni produce rappresentazioni di attività migliori. Insieme, queste intuizioni gettano luce sui meccanismi sottostanti dei VLM, in particolare la loro capacità di rappresentare attività in modo condiviso tra diverse modalità e specifiche di attività. Pagina del progetto: https://task-vectors-are-cross-modal.github.io.
English
We investigate the internal representations of vision-and-language models (VLMs) and how they encode task representations. We consider tasks specified through examples or instructions, using either text or image inputs. Surprisingly, we find that conceptually similar tasks are mapped to similar task vector representations, regardless of how they are specified. Our findings suggest that to output answers, tokens in VLMs undergo three distinct phases: input, task, and answer, a process which is consistent across different modalities and specifications. The task vectors we identify in VLMs are general enough to be derived in one modality (e.g., text) and transferred to another (e.g., image). Additionally, we find that ensembling exemplar and instruction based task vectors produce better task representations. Taken together, these insights shed light on the underlying mechanisms of VLMs, particularly their ability to represent tasks in a shared manner across different modalities and task specifications. Project page: https://task-vectors-are-cross-modal.github.io.

Summary

AI-Generated Summary

PDF112November 16, 2024