ReFocus：構造化画像理解のための思考連鎖としてのビジュアル編集

ReFocus: Visual Editing as a Chain of Thought for Structured Image Understanding

January 9, 2025

著者: Xingyu Fu, Minqian Liu, Zhengyuan Yang, John Corring, Yijuan Lu, Jianwei Yang, Dan Roth, Dinei Florencio, Cha Zhang

cs.AI

要旨

構造化画像理解、つまり表やチャートの解釈には、画像内のさまざまな構造やテキストに戦略的に焦点を当て、最終的な答えに至る推論シーケンスを形成する必要があります。ただし、現在のマルチモーダル大規模言語モデル（LLM）には、このマルチホップ選択的注意機能が欠けています。本研究では、ReFocusという、単純でありながら効果的なフレームワークを紹介し、マルチモーダルLLMに、コードを介して入力画像に対するビジュアル編集を行い、視覚的焦点を移動および調整する能力を付与します。具体的には、ReFocusは、ツールを呼び出して入力画像を変更し、順次ボックスを描画し、セクションを強調表示し、領域をマスキングするPythonコードを生成することで、視覚的推論プロセスを向上させます。表やチャートを含むさまざまな構造化画像理解タスクで実験を行いました。ReFocusは、視覚的編集を行わないGPT-4oに比べて、すべてのタスクでパフォーマンスを大幅に向上させ、表のタスクでは平均11.0％、チャートのタスクでは6.8％の利益をもたらしました。異なる視覚的編集の効果と、ReFocusがパフォーマンスを向上させる理由について詳細な分析を行いました。さらに、ReFocusを使用して14kのトレーニングセットを収集し、中間情報を含む視覚的な思考の連鎖が、標準のVQAデータよりも優れた監督を提供し、QAペアでトレーニングされた同じモデルよりも平均8.0％、CoTよりも2.6％の利益をもたらすことを証明しました。

English

Structured image understanding, such as interpreting tables and charts, requires strategically refocusing across various structures and texts within an image, forming a reasoning sequence to arrive at the final answer. However, current multimodal large language models (LLMs) lack this multihop selective attention capability. In this work, we introduce ReFocus, a simple yet effective framework that equips multimodal LLMs with the ability to generate "visual thoughts" by performing visual editing on the input image through code, shifting and refining their visual focuses. Specifically, ReFocus enables multimodal LLMs to generate Python codes to call tools and modify the input image, sequentially drawing boxes, highlighting sections, and masking out areas, thereby enhancing the visual reasoning process. We experiment upon a wide range of structured image understanding tasks involving tables and charts. ReFocus largely improves performance on all tasks over GPT-4o without visual editing, yielding an average gain of 11.0% on table tasks and 6.8% on chart tasks. We present an in-depth analysis of the effects of different visual edits, and reasons why ReFocus can improve the performance without introducing additional information. Further, we collect a 14k training set using ReFocus, and prove that such visual chain-of-thought with intermediate information offers a better supervision than standard VQA data, reaching a 8.0% average gain over the same model trained with QA pairs and 2.6% over CoT.