Ongecontroleerd en over het hoofd gezien: Het aanpakken van het checkbox-blinde vlek in grote taalmodelen met CheckboxQA

Unchecked and Overlooked: Addressing the Checkbox Blind Spot in Large Language Models with CheckboxQA

April 14, 2025

Auteurs: Michał Turski, Mateusz Chiliński, Łukasz Borchmann

cs.AI

Samenvatting

Selectievakjes zijn cruciaal in de verwerking van documenten in de praktijk, waar de aanwezigheid of afwezigheid van vinkjes direct van invloed is op gegevensextractie en besluitvormingsprocessen. Desondanks hebben grote visuele en taalmodelen, ondanks hun sterke prestaties op een breed scala aan taken, moeite met het interpreteren van aankruisbare inhoud. Deze uitdaging wordt vooral urgent in sectoren waar een enkel over het hoofd gezien selectievakje kan leiden tot kostbare regelgevende of contractuele fouten. Om dit gat te dichten, introduceren we de CheckboxQA-dataset, een gerichte bron die is ontworpen om de prestaties van modellen op taken gerelateerd aan selectievakjes te evalueren en te verbeteren. Het onthult de beperkingen van huidige modellen en dient als een waardevol hulpmiddel voor het bevorderen van documentbegripsystemen, met aanzienlijke implicaties voor toepassingen in sectoren zoals juridische technologie en financiën. De dataset is publiekelijk beschikbaar op: https://github.com/Snowflake-Labs/CheckboxQA

English

Checkboxes are critical in real-world document processing where the presence or absence of ticks directly informs data extraction and decision-making processes. Yet, despite the strong performance of Large Vision and Language Models across a wide range of tasks, they struggle with interpreting checkable content. This challenge becomes particularly pressing in industries where a single overlooked checkbox may lead to costly regulatory or contractual oversights. To address this gap, we introduce the CheckboxQA dataset, a targeted resource designed to evaluate and improve model performance on checkbox-related tasks. It reveals the limitations of current models and serves as a valuable tool for advancing document comprehension systems, with significant implications for applications in sectors such as legal tech and finance. The dataset is publicly available at: https://github.com/Snowflake-Labs/CheckboxQA