Taken vectors zijn cross-modaal.

Task Vectors are Cross-Modal

October 29, 2024

Auteurs: Grace Luo, Trevor Darrell, Amir Bar

cs.AI

Samenvatting

We onderzoeken de interne representaties van visie-en-taalmodellen (VLM's) en hoe ze taakrepresentaties coderen. We overwegen taken die worden gespecificeerd via voorbeelden of instructies, met behulp van tekst- of afbeeldingsinvoer. Verrassend genoeg vinden we dat conceptueel vergelijkbare taken worden toegewezen aan vergelijkbare taakvectorrepresentaties, ongeacht hoe ze worden gespecificeerd. Onze bevindingen suggereren dat om antwoorden te produceren, tokens in VLM's drie afzonderlijke fasen doorlopen: invoer, taak en antwoord, een proces dat consistent is over verschillende modaliteiten en specificaties. De taakvectoren die we identificeren in VLM's zijn algemeen genoeg om afgeleid te worden in één modaliteit (bijv. tekst) en overgebracht te worden naar een andere (bijv. afbeelding). Bovendien vinden we dat het combineren van voorbeeld- en instructiegebaseerde taakvectoren betere taakrepresentaties oplevert. Samengevoegd werpen deze inzichten licht op de onderliggende mechanismen van VLM's, met name hun vermogen om taken op een gedeelde manier te representeren over verschillende modaliteiten en taakspecificaties. Projectpagina: https://task-vectors-are-cross-modal.github.io.

English

We investigate the internal representations of vision-and-language models (VLMs) and how they encode task representations. We consider tasks specified through examples or instructions, using either text or image inputs. Surprisingly, we find that conceptually similar tasks are mapped to similar task vector representations, regardless of how they are specified. Our findings suggest that to output answers, tokens in VLMs undergo three distinct phases: input, task, and answer, a process which is consistent across different modalities and specifications. The task vectors we identify in VLMs are general enough to be derived in one modality (e.g., text) and transferred to another (e.g., image). Additionally, we find that ensembling exemplar and instruction based task vectors produce better task representations. Taken together, these insights shed light on the underlying mechanisms of VLMs, particularly their ability to represent tasks in a shared manner across different modalities and task specifications. Project page: https://task-vectors-are-cross-modal.github.io.