SBS図: ステージバイステージ合成された画像からの事前トレーニング図QA

SBS Figures: Pre-training Figure QA from Stage-by-Stage Synthesized Images

December 23, 2024

著者: Risa Shinoda, Kuniaki Saito, Shohei Tanaka, Tosho Hirasawa, Yoshitaka Ushiku

cs.AI

要旨

大規模な図形QAデータセットを構築するには、図を収集し選択する作業からテキスト、数字、色などの属性を抽出し、Q&Aを生成する作業まで、かなりの作業量が必要です。最近のLLMの発展により、図形を合成する取り組みが進められていますが、これらのほとんどは主にQA生成に焦点を当てています。さらに、LLMを使用して直接図形を作成する場合、コードエラーや似たような図形、図形内の反復コンテンツなどの問題がしばしば発生します。この問題に対処するために、私たちはSBSFigures（段階的合成図形）を提案します。これは、図形QAの事前トレーニング用のデータセットです。私たちの提案するパイプラインにより、視覚化されたデータの完全な注釈付きのチャート図形と、手作業の注釈プロセスなしで密なQA注釈を作成することが可能となります。段階的なパイプラインにより、コードエラーを最小限に抑えつつ、効率的に多様なトピックや外観の図形を作成することができます。私たちのSBSFiguresは強力な事前トレーニング効果を示し、事前にトレーニングされた重みから始めることで、限られた実世界のチャートデータでも効率的なトレーニングが可能となります。

English

Building a large-scale figure QA dataset requires a considerable amount of work, from gathering and selecting figures to extracting attributes like text, numbers, and colors, and generating QAs. Although recent developments in LLMs have led to efforts to synthesize figures, most of these focus primarily on QA generation. Additionally, creating figures directly using LLMs often encounters issues such as code errors, similar-looking figures, and repetitive content in figures. To address this issue, we present SBSFigures (Stage-by-Stage Synthetic Figures), a dataset for pre-training figure QA. Our proposed pipeline enables the creation of chart figures with complete annotations of the visualized data and dense QA annotations without any manual annotation process. Our stage-by-stage pipeline makes it possible to create diverse topic and appearance figures efficiently while minimizing code errors. Our SBSFigures demonstrate a strong pre-training effect, making it possible to achieve efficient training with a limited amount of real-world chart data starting from our pre-trained weights.