Figure SBS: Figure di pre-addestramento QA da Immagini Sintetizzate Fase per Fase

SBS Figures: Pre-training Figure QA from Stage-by-Stage Synthesized Images

December 23, 2024

Autori: Risa Shinoda, Kuniaki Saito, Shohei Tanaka, Tosho Hirasawa, Yoshitaka Ushiku

cs.AI

Abstract

La creazione di un dataset di domande e risposte su figure su larga scala richiede una notevole quantità di lavoro, dalla raccolta e selezione delle figure all'estrazione di attributi come testo, numeri e colori, e alla generazione di domande e risposte. Sebbene gli sviluppi recenti nei LLM abbiano portato a sforzi per sintetizzare figure, la maggior parte di questi si concentra principalmente sulla generazione di domande e risposte. Inoltre, la creazione di figure direttamente utilizzando LLM spesso incontra problemi come errori di codice, figure simili e contenuti ripetitivi nelle figure. Per affrontare questo problema, presentiamo SBSFigures (Figure Sintetiche Stage-by-Stage), un dataset per il pre-training delle domande e risposte sulle figure. Il nostro pipeline proposto consente la creazione di figure grafiche con annotazioni complete dei dati visualizzati e annotazioni dense di domande e risposte senza alcun processo di annotazione manuale. Il nostro pipeline stage-by-stage rende possibile creare in modo efficiente figure su argomenti e aspetti diversi, riducendo al minimo gli errori di codice. Le nostre SBSFigures dimostrano un forte effetto di pre-training, consentendo di ottenere un addestramento efficiente con una quantità limitata di dati reali di grafici partendo dai nostri pesi pre-addestrati.

English

Building a large-scale figure QA dataset requires a considerable amount of work, from gathering and selecting figures to extracting attributes like text, numbers, and colors, and generating QAs. Although recent developments in LLMs have led to efforts to synthesize figures, most of these focus primarily on QA generation. Additionally, creating figures directly using LLMs often encounters issues such as code errors, similar-looking figures, and repetitive content in figures. To address this issue, we present SBSFigures (Stage-by-Stage Synthetic Figures), a dataset for pre-training figure QA. Our proposed pipeline enables the creation of chart figures with complete annotations of the visualized data and dense QA annotations without any manual annotation process. Our stage-by-stage pipeline makes it possible to create diverse topic and appearance figures efficiently while minimizing code errors. Our SBSFigures demonstrate a strong pre-training effect, making it possible to achieve efficient training with a limited amount of real-world chart data starting from our pre-trained weights.