Instruções Explicativas: Rumo à Compreensão Unificada de Tarefas de Visão e Generalização sem Supervisão

Explanatory Instructions: Towards Unified Vision Tasks Understanding and Zero-shot Generalization

December 24, 2024

Autores: Yang Shen, Xiu-Shen Wei, Yifan Sun, Yuxin Song, Tao Yuan, Jian Jin, Heyang Xu, Yazhou Yao, Errui Ding

cs.AI

Resumo

A Visão Computacional (CV) ainda não conseguiu alcançar completamente a generalização de tarefas sem treinamento observada no Processamento de Linguagem Natural (NLP), apesar de seguir muitos dos marcos estabelecidos no NLP, como grandes modelos de transformadores, extenso pré-treinamento e o paradigma de auto-regressão, entre outros. Neste artigo, exploramos a ideia de que a CV adota definições de tarefas discretas e terminológicas (por exemplo, "segmentação de imagem"), o que pode ser uma barreira-chave para a generalização de tarefas sem treinamento. Nossa hipótese é que, sem compreender verdadeiramente as tarefas previamente vistas - devido a essas definições terminológicas - os modelos profundos têm dificuldade em generalizar para tarefas novas. Para verificar isso, introduzimos Instruções Explicativas, que fornecem uma maneira intuitiva de definir os objetivos da tarefa de CV por meio de transformações linguísticas detalhadas, das imagens de entrada para as saídas. Criamos um conjunto de dados em grande escala composto por 12 milhões de triplas "entrada de imagem para instrução explicativa para saída", e treinamos um modelo de visão-linguagem baseado em auto-regressão (AR-based VLM) que recebe tanto imagens quanto instruções explicativas como entrada. Ao aprender a seguir essas instruções, o AR-based VLM alcança capacidades de zero-shot a nível de instrução para tarefas previamente vistas e demonstra uma forte generalização de zero-shot para tarefas de CV não vistas. O código e o conjunto de dados estarão disponíveis abertamente em nosso repositório no GitHub.

English

Computer Vision (CV) has yet to fully achieve the zero-shot task generalization observed in Natural Language Processing (NLP), despite following many of the milestones established in NLP, such as large transformer models, extensive pre-training, and the auto-regression paradigm, among others. In this paper, we explore the idea that CV adopts discrete and terminological task definitions (\eg, ``image segmentation''), which may be a key barrier to zero-shot task generalization. Our hypothesis is that without truly understanding previously-seen tasks--due to these terminological definitions--deep models struggle to generalize to novel tasks. To verify this, we introduce Explanatory Instructions, which provide an intuitive way to define CV task objectives through detailed linguistic transformations from input images to outputs. We create a large-scale dataset comprising 12 million ``image input to explanatory instruction to output'' triplets, and train an auto-regressive-based vision-language model (AR-based VLM) that takes both images and explanatory instructions as input. By learning to follow these instructions, the AR-based VLM achieves instruction-level zero-shot capabilities for previously-seen tasks and demonstrates strong zero-shot generalization for unseen CV tasks. Code and dataset will be openly available on our GitHub repository.