ReFocus: Edição Visual como uma Cadeia de Pensamento para Compreensão Estruturada de Imagens

ReFocus: Visual Editing as a Chain of Thought for Structured Image Understanding

January 9, 2025

Autores: Xingyu Fu, Minqian Liu, Zhengyuan Yang, John Corring, Yijuan Lu, Jianwei Yang, Dan Roth, Dinei Florencio, Cha Zhang

cs.AI

Resumo

A compreensão estruturada de imagens, como a interpretação de tabelas e gráficos, requer um reposicionamento estratégico entre várias estruturas e textos dentro de uma imagem, formando uma sequência de raciocínio para chegar à resposta final. No entanto, os atuais modelos de linguagem multimodais de grande escala (LLMs) carecem dessa capacidade de atenção seletiva de múltiplos saltos. Neste trabalho, apresentamos o ReFocus, um framework simples, porém eficaz, que capacita os LLMs multimodais com a habilidade de gerar "pensamentos visuais" ao realizar edições visuais na imagem de entrada por meio de código, deslocando e refinando seus focos visuais. Especificamente, o ReFocus permite que os LLMs multimodais gerem códigos Python para chamar ferramentas e modificar a imagem de entrada, desenhando caixas sequencialmente, destacando seções e mascarando áreas, aprimorando assim o processo de raciocínio visual. Realizamos experimentos em uma ampla gama de tarefas de compreensão estruturada de imagens envolvendo tabelas e gráficos. O ReFocus melhora significativamente o desempenho em todas as tarefas em relação ao GPT-4o sem edição visual, resultando em um ganho médio de 11,0% em tarefas de tabelas e 6,8% em tarefas de gráficos. Apresentamos uma análise detalhada dos efeitos de diferentes edições visuais e os motivos pelos quais o ReFocus pode melhorar o desempenho sem introduzir informações adicionais. Além disso, coletamos um conjunto de treinamento de 14k usando o ReFocus e demonstramos que essa cadeia de pensamento visual com informações intermediárias oferece uma supervisão melhor do que os dados padrão de VQA, resultando em um ganho médio de 8,0% sobre o mesmo modelo treinado com pares de perguntas e respostas e 2,6% sobre CoT.

English

Structured image understanding, such as interpreting tables and charts, requires strategically refocusing across various structures and texts within an image, forming a reasoning sequence to arrive at the final answer. However, current multimodal large language models (LLMs) lack this multihop selective attention capability. In this work, we introduce ReFocus, a simple yet effective framework that equips multimodal LLMs with the ability to generate "visual thoughts" by performing visual editing on the input image through code, shifting and refining their visual focuses. Specifically, ReFocus enables multimodal LLMs to generate Python codes to call tools and modify the input image, sequentially drawing boxes, highlighting sections, and masking out areas, thereby enhancing the visual reasoning process. We experiment upon a wide range of structured image understanding tasks involving tables and charts. ReFocus largely improves performance on all tasks over GPT-4o without visual editing, yielding an average gain of 11.0% on table tasks and 6.8% on chart tasks. We present an in-depth analysis of the effects of different visual edits, and reasons why ReFocus can improve the performance without introducing additional information. Further, we collect a 14k training set using ReFocus, and prove that such visual chain-of-thought with intermediate information offers a better supervision than standard VQA data, reaching a 8.0% average gain over the same model trained with QA pairs and 2.6% over CoT.