BigDocs: un dataset aperto e con licenza permissiva per addestrare modelli multimodali su compiti di documenti e codice.

BigDocs: An Open and Permissively-Licensed Dataset for Training Multimodal Models on Document and Code Tasks

December 5, 2024

Autori: Juan Rodriguez, Xiangru Jian, Siba Smarak Panigrahi, Tianyu Zhang, Aarash Feizi, Abhay Puri, Akshay Kalkunte, François Savard, Ahmed Masry, Shravan Nayak, Rabiul Awal, Mahsa Massoud, Amirhossein Abaskohi, Zichao Li, Suyuchen Wang, Pierre-André Noël, Mats Leon Richter, Saverio Vadacchino, Shubbam Agarwal, Sanket Biswas, Sara Shanian, Ying Zhang, Noah Bolger, Kurt MacDonald, Simon Fauvel, Sathwik Tejaswi, Srinivas Sunkara, Joao Monteiro, Krishnamurthy DJ Dvijotham, Torsten Scholak, Nicolas Chapados, Sepideh Kharagani, Sean Hughes, M. Özsu, Siva Reddy, Marco Pedersoli, Yoshua Bengio, Christopher Pal, Issam Laradji, Spandanna Gella, Perouz Taslakian, David Vazquez, Sai Rajeswar

cs.AI

Abstract

L'Intelligenza Artificiale Multimodale ha il potenziale per migliorare significativamente le attività di comprensione dei documenti, come l'elaborazione delle ricevute, la comprensione dei flussi di lavoro, l'estrazione dei dati dai documenti e la sintesi dei report. Anche le attività di generazione di codice che richiedono output strutturati lunghi possono beneficiare della multimodalità. Tuttavia, il loro utilizzo nelle applicazioni commerciali è spesso limitato a causa dell'accesso limitato ai dati di addestramento e delle restrittive licenze, che ostacolano l'accesso aperto. Per affrontare queste limitazioni, presentiamo BigDocs-7.5M, un dataset di alta qualità ad accesso aperto composto da 7,5 milioni di documenti multimodali su 30 compiti. Utilizziamo un efficiente processo di cura dei dati per garantire che i nostri dati siano di alta qualità e con licenza permissiva. Il nostro processo enfatizza l'accountability, la responsabilità e la trasparenza attraverso regole di filtraggio, metadati tracciabili e un'attenta analisi dei contenuti. Inoltre, presentiamo BigDocs-Bench, una suite di benchmark con 10 nuovi compiti in cui creiamo dataset che riflettono casi d'uso del mondo reale che coinvolgono il ragionamento sulle Interfacce Grafiche Utente (GUI) e la generazione di codice da immagini. I nostri esperimenti mostrano che l'addestramento con BigDocs-Bench migliora le prestazioni medie fino al 25,8% rispetto a GPT-4o sorgente chiusa nel ragionamento sui documenti e nei compiti di output strutturato come la generazione di Screenshot2HTML o Image2Latex. Infine, le valutazioni umane hanno mostrato una preferenza per gli output dai modelli addestrati su BigDocs rispetto a GPT-4o. Ciò suggerisce che BigDocs possa aiutare sia gli accademici che la comunità open-source a utilizzare e migliorare gli strumenti di Intelligenza Artificiale per potenziare le capacità multimodali e il ragionamento sui documenti. Il progetto è ospitato su https://bigdocs.github.io.

English

Multimodal AI has the potential to significantly enhance document-understanding tasks, such as processing receipts, understanding workflows, extracting data from documents, and summarizing reports. Code generation tasks that require long-structured outputs can also be enhanced by multimodality. Despite this, their use in commercial applications is often limited due to limited access to training data and restrictive licensing, which hinders open access. To address these limitations, we introduce BigDocs-7.5M, a high-quality, open-access dataset comprising 7.5 million multimodal documents across 30 tasks. We use an efficient data curation process to ensure our data is high-quality and license-permissive. Our process emphasizes accountability, responsibility, and transparency through filtering rules, traceable metadata, and careful content analysis. Additionally, we introduce BigDocs-Bench, a benchmark suite with 10 novel tasks where we create datasets that reflect real-world use cases involving reasoning over Graphical User Interfaces (GUI) and code generation from images. Our experiments show that training with BigDocs-Bench improves average performance up to 25.8% over closed-source GPT-4o in document reasoning and structured output tasks such as Screenshot2HTML or Image2Latex generation. Finally, human evaluations showed a preference for outputs from models trained on BigDocs over GPT-4o. This suggests that BigDocs can help both academics and the open-source community utilize and improve AI tools to enhance multimodal capabilities and document reasoning. The project is hosted at https://bigdocs.github.io .