SBS 그림: 단계별 합성 이미지에서의 사전 훈련 그림 질문-응답

SBS Figures: Pre-training Figure QA from Stage-by-Stage Synthesized Images

December 23, 2024

저자: Risa Shinoda, Kuniaki Saito, Shohei Tanaka, Tosho Hirasawa, Yoshitaka Ushiku

cs.AI

초록

대규모 그림 질의응답(QA) 데이터셋을 구축하는 데에는 그림 수집 및 선택부터 텍스트, 숫자, 색상과 같은 속성 추출, 그리고 QA 생성까지 상당한 작업량이 필요합니다. 최근 LLMs의 발전으로 그림을 합성하기 위한 노력이 진행되었지만, 대부분은 주로 QA 생성에 초점을 맞추고 있습니다. 게다가 LLMs를 사용하여 직접 그림을 만드는 것은 종종 코드 오류, 비슷해 보이는 그림, 그리고 그림 내 반복 콘텐츠와 같은 문제에 직면할 수 있습니다. 이 문제를 해결하기 위해, 저희는 SBSFigures(단계별 합성 그림)라는 figure QA 사전 훈련을 위한 데이터셋을 제안합니다. 저희가 제안하는 파이프라인을 통해 시각화된 데이터의 완전한 주석이 달린 차트 그림과 어떠한 수동 주석 과정도 없이 밀도 높은 QA 주석을 생성할 수 있습니다. 저희의 단계별 파이프라인은 코드 오류를 최소화하면서 다양한 주제와 외관의 그림을 효율적으로 생성할 수 있도록 합니다. 저희의 SBSFigures는 강력한 사전 훈련 효과를 보여주며, 저희의 사전 훈련 가중치를 시작으로 실제 차트 데이터의 한정된 양으로 효율적인 훈련을 달성할 수 있게 합니다.

English

Building a large-scale figure QA dataset requires a considerable amount of work, from gathering and selecting figures to extracting attributes like text, numbers, and colors, and generating QAs. Although recent developments in LLMs have led to efforts to synthesize figures, most of these focus primarily on QA generation. Additionally, creating figures directly using LLMs often encounters issues such as code errors, similar-looking figures, and repetitive content in figures. To address this issue, we present SBSFigures (Stage-by-Stage Synthetic Figures), a dataset for pre-training figure QA. Our proposed pipeline enables the creation of chart figures with complete annotations of the visualized data and dense QA annotations without any manual annotation process. Our stage-by-stage pipeline makes it possible to create diverse topic and appearance figures efficiently while minimizing code errors. Our SBSFigures demonstrate a strong pre-training effect, making it possible to achieve efficient training with a limited amount of real-world chart data starting from our pre-trained weights.