Documentenanalyse Onthuld: Technieken, Uitdagingen en Vooruitzichten voor Gestructureerde Informatie-extractie

Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction

October 28, 2024

Auteurs: Qintong Zhang, Victor Shea-Jay Huang, Bin Wang, Junyuan Zhang, Zhengren Wang, Hao Liang, Shawn Wang, Matthieu Lin, Wentao Zhang, Conghui He

cs.AI

Samenvatting

Het parseren van documenten is essentieel voor het omzetten van ongestructureerde en semi-gestructureerde documenten - zoals contracten, academische papers en facturen - naar gestructureerde, machine-leesbare gegevens. Document parsing haalt betrouwbare gestructureerde gegevens uit ongestructureerde invoer, wat enorme gemak biedt voor tal van toepassingen. Vooral met recente prestaties in Grote Taalmodellen, speelt document parsing een onmisbare rol bij zowel de constructie van kennisbanken als de generatie van trainingsgegevens. Deze survey presenteert een uitgebreid overzicht van de huidige stand van zaken op het gebied van document parsing, waarbij de belangrijkste methodologieën worden behandeld, van modulaire pipelinesystemen tot end-to-end modellen aangestuurd door grote visie-taalmodellen. Kerncomponenten zoals lay-outdetectie, inhoudsextractie (inclusief tekst, tabellen en wiskundige expressies) en multi-modale gegevensintegratie worden in detail onderzocht. Daarnaast bespreekt dit artikel de uitdagingen waarmee modulaire document parsing systemen en visie-taalmodellen worden geconfronteerd bij het omgaan met complexe lay-outs, het integreren van meerdere modules en het herkennen van tekst met een hoge dichtheid. Het benadrukt het belang van het ontwikkelen van grotere en meer diverse datasets en schetst toekomstige onderzoeksrichtingen.

English

Document parsing is essential for converting unstructured and semi-structured documents-such as contracts, academic papers, and invoices-into structured, machine-readable data. Document parsing extract reliable structured data from unstructured inputs, providing huge convenience for numerous applications. Especially with recent achievements in Large Language Models, document parsing plays an indispensable role in both knowledge base construction and training data generation. This survey presents a comprehensive review of the current state of document parsing, covering key methodologies, from modular pipeline systems to end-to-end models driven by large vision-language models. Core components such as layout detection, content extraction (including text, tables, and mathematical expressions), and multi-modal data integration are examined in detail. Additionally, this paper discusses the challenges faced by modular document parsing systems and vision-language models in handling complex layouts, integrating multiple modules, and recognizing high-density text. It emphasizes the importance of developing larger and more diverse datasets and outlines future research directions.