Aufgabenvektoren sind kreuzmodal.

Task Vectors are Cross-Modal

October 29, 2024

Autoren: Grace Luo, Trevor Darrell, Amir Bar

cs.AI

Zusammenfassung

Wir untersuchen die internen Repräsentationen von Vision-and-Language-Modellen (VLMs) und wie sie Aufgaben darstellen. Wir betrachten Aufgaben, die durch Beispiele oder Anweisungen spezifiziert sind und entweder Text- oder Bildinputs verwenden. Überraschenderweise stellen wir fest, dass konzeptuell ähnliche Aufgaben ähnlichen Aufgabenvektorrepräsentationen zugeordnet werden, unabhängig davon, wie sie spezifiziert sind. Unsere Ergebnisse legen nahe, dass zur Ausgabe von Antworten Tokens in VLMs drei verschiedene Phasen durchlaufen: Eingabe, Aufgabe und Antwort, ein Prozess, der unabhhängig von verschiedenen Modalitäten und Spezifikationen konsistent ist. Die von uns identifizierten Aufgabenvektoren in VLMs sind allgemein genug, um in einer Modalität (z.B. Text) abgeleitet und auf eine andere (z.B. Bild) übertragen zu werden. Darüber hinaus stellen wir fest, dass die Kombination von beispiel- und instruktionsbasierten Aufgabenvektoren bessere Aufgabenrepräsentationen liefert. Zusammenfassend beleuchten diese Erkenntnisse die zugrunde liegenden Mechanismen von VLMs, insbesondere ihre Fähigkeit, Aufgaben auf eine gemeinsame Weise über verschiedene Modalitäten und Aufgabenspezifikationen hinweg darzustellen. Projektseite: https://task-vectors-are-cross-modal.github.io.

English

We investigate the internal representations of vision-and-language models (VLMs) and how they encode task representations. We consider tasks specified through examples or instructions, using either text or image inputs. Surprisingly, we find that conceptually similar tasks are mapped to similar task vector representations, regardless of how they are specified. Our findings suggest that to output answers, tokens in VLMs undergo three distinct phases: input, task, and answer, a process which is consistent across different modalities and specifications. The task vectors we identify in VLMs are general enough to be derived in one modality (e.g., text) and transferred to another (e.g., image). Additionally, we find that ensembling exemplar and instruction based task vectors produce better task representations. Taken together, these insights shed light on the underlying mechanisms of VLMs, particularly their ability to represent tasks in a shared manner across different modalities and task specifications. Project page: https://task-vectors-are-cross-modal.github.io.