Les vecteurs de tâche sont cross-modaux.

Task Vectors are Cross-Modal

October 29, 2024

Auteurs: Grace Luo, Trevor Darrell, Amir Bar

cs.AI

Résumé

Nous étudions les représentations internes des modèles vision-langage (VLM) et comment ils encodent les représentations de tâches. Nous considérons des tâches spécifiées à travers des exemples ou des instructions, utilisant soit des entrées textuelles soit des images. De manière surprenante, nous constatons que des tâches conceptuellement similaires sont cartographiées vers des représentations vectorielles de tâches similaires, indépendamment de leur spécification. Nos résultats suggèrent que pour produire des réponses, les jetons dans les VLM passent par trois phases distinctes : entrée, tâche et réponse, un processus qui est cohérent à travers différentes modalités et spécifications. Les vecteurs de tâches que nous identifions dans les VLM sont suffisamment généraux pour être dérivés dans une modalité (par exemple, le texte) et transférés vers une autre (par exemple, l'image). De plus, nous constatons que l'assemblage de vecteurs de tâches basés sur des exemples et des instructions produit de meilleures représentations de tâches. Dans l'ensemble, ces observations éclairent les mécanismes sous-jacents des VLM, en particulier leur capacité à représenter les tâches de manière partagée à travers différentes modalités et spécifications de tâches. Page du projet : https://task-vectors-are-cross-modal.github.io.

English

We investigate the internal representations of vision-and-language models (VLMs) and how they encode task representations. We consider tasks specified through examples or instructions, using either text or image inputs. Surprisingly, we find that conceptually similar tasks are mapped to similar task vector representations, regardless of how they are specified. Our findings suggest that to output answers, tokens in VLMs undergo three distinct phases: input, task, and answer, a process which is consistent across different modalities and specifications. The task vectors we identify in VLMs are general enough to be derived in one modality (e.g., text) and transferred to another (e.g., image). Additionally, we find that ensembling exemplar and instruction based task vectors produce better task representations. Taken together, these insights shed light on the underlying mechanisms of VLMs, particularly their ability to represent tasks in a shared manner across different modalities and task specifications. Project page: https://task-vectors-are-cross-modal.github.io.