Figuras SBS: QA de Figuras Pré-treinadas a partir de Imagens Sintetizadas de Estágio a Estágio

SBS Figures: Pre-training Figure QA from Stage-by-Stage Synthesized Images

December 23, 2024

Autores: Risa Shinoda, Kuniaki Saito, Shohei Tanaka, Tosho Hirasawa, Yoshitaka Ushiku

cs.AI

Resumo

Construir um conjunto de dados de perguntas e respostas em figuras em grande escala requer uma quantidade considerável de trabalho, desde a coleta e seleção de figuras até a extração de atributos como texto, números e cores, e a geração de perguntas e respostas. Embora os avanços recentes em LLMs tenham levado a esforços para sintetizar figuras, a maioria desses esforços se concentra principalmente na geração de perguntas e respostas. Além disso, a criação de figuras diretamente usando LLMs frequentemente encontra problemas como erros de código, figuras semelhantes e conteúdo repetitivo nas figuras. Para abordar essa questão, apresentamos SBSFigures (Figuras Sintéticas de Estágio a Estágio), um conjunto de dados para pré-treinamento de perguntas e respostas em figuras. Nosso pipeline proposto permite a criação de figuras de gráficos com anotações completas dos dados visualizados e anotações densas de perguntas e respostas sem nenhum processo de anotação manual. Nosso pipeline de estágio a estágio torna possível criar eficientemente figuras de diferentes temas e aparências, minimizando erros de código. Nossas SBSFigures demonstram um forte efeito de pré-treinamento, possibilitando um treinamento eficiente com uma quantidade limitada de dados reais de gráficos, a partir de nossos pesos pré-treinados.

English

Building a large-scale figure QA dataset requires a considerable amount of work, from gathering and selecting figures to extracting attributes like text, numbers, and colors, and generating QAs. Although recent developments in LLMs have led to efforts to synthesize figures, most of these focus primarily on QA generation. Additionally, creating figures directly using LLMs often encounters issues such as code errors, similar-looking figures, and repetitive content in figures. To address this issue, we present SBSFigures (Stage-by-Stage Synthetic Figures), a dataset for pre-training figure QA. Our proposed pipeline enables the creation of chart figures with complete annotations of the visualized data and dense QA annotations without any manual annotation process. Our stage-by-stage pipeline makes it possible to create diverse topic and appearance figures efficiently while minimizing code errors. Our SBSFigures demonstrate a strong pre-training effect, making it possible to achieve efficient training with a limited amount of real-world chart data starting from our pre-trained weights.