작업 벡터는 교차 모달입니다.

Task Vectors are Cross-Modal

October 29, 2024

저자: Grace Luo, Trevor Darrell, Amir Bar

cs.AI

초록

우리는 시각-언어 모델(VLMs)의 내부 표현과 그들이 작업 표현을 부호화하는 방식을 조사합니다. 우리는 예시나 지시를 통해 명시된 작업을 고려하며, 텍스트나 이미지 입력을 사용합니다. 놀랍게도, 개념적으로 유사한 작업들이 어떻게 명시되었는지에 관계없이 유사한 작업 벡터 표현으로 매핑된다는 것을 발견했습니다. 우리의 연구 결과는 VLMs의 토큰들이 답변을 출력하기 위해 세 가지 구별된 단계(입력, 작업, 답변)를 거치는 것을 시사하며, 이 과정은 다른 모달리티와 명시 방식에 걸쳐 일관성을 보입니다. 우리가 VLMs에서 식별한 작업 벡터는 충분히 일반적이어서 한 모달리티(예: 텍스트)에서 유도되어 다른 모달리티(예: 이미지)로 전이될 수 있습니다. 게다가, 예시와 지시를 기반으로 한 작업 벡터를 앙상블링하면 더 나은 작업 표현을 얻을 수 있음을 발견했습니다. 이러한 통찰력을 종합하면, 이러한 연구 결과는 VLMs의 기저 메커니즘에 빛을 발하며, 특히 다른 모달리티와 작업 명시 방식에 걸쳐 작업을 공유 방식으로 표현하는 능력에 대해 집중하고 있습니다. 프로젝트 페이지: https://task-vectors-are-cross-modal.github.io.

English

We investigate the internal representations of vision-and-language models (VLMs) and how they encode task representations. We consider tasks specified through examples or instructions, using either text or image inputs. Surprisingly, we find that conceptually similar tasks are mapped to similar task vector representations, regardless of how they are specified. Our findings suggest that to output answers, tokens in VLMs undergo three distinct phases: input, task, and answer, a process which is consistent across different modalities and specifications. The task vectors we identify in VLMs are general enough to be derived in one modality (e.g., text) and transferred to another (e.g., image). Additionally, we find that ensembling exemplar and instruction based task vectors produce better task representations. Taken together, these insights shed light on the underlying mechanisms of VLMs, particularly their ability to represent tasks in a shared manner across different modalities and task specifications. Project page: https://task-vectors-are-cross-modal.github.io.