GRS-QA -- Dataset voor Vraag-antwoord met Grafische Redenering

GRS-QA -- Graph Reasoning-Structured Question Answering Dataset

November 1, 2024

Auteurs: Anish Pahilajani, Devasha Trivedi, Jincen Shuai, Khin S. Yone, Samyak Rajesh Jain, Namyong Park, Ryan A. Rossi, Nesreen K. Ahmed, Franck Dernoncourt, Yu Wang

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben uitgeblonken in meerstapsvraagbeantwoording (M-QA) vanwege hun geavanceerde redeneervermogen. De impact van de inherente redeneerstructuren op de prestaties van LLM M-QA blijft echter onduidelijk, grotendeels door het ontbreken van QA-datasets die gedetailleerde redeneerstructuren bieden. Om deze lacune aan te pakken, introduceren we de Grafische Redeneer-Gestructureerde Vraag-Antwoord Dataset (GRS-QA), die zowel semantische contexten als redeneerstructuren voor QA-paren bevat. In tegenstelling tot bestaande M-QA-datasets, waar verschillende redeneerstructuren door elkaar lopen, legt GRS-QA expliciet complexe redeneerpaden vast door redeneergrafen te construeren, waarbij knooppunten tekstuele contexten vertegenwoordigen en randen logische stromen aangeven. Deze redeneergrafen van verschillende structuren maken een gedetailleerde evaluatie van LLM-redeneervermogens over verschillende redeneerstructuren mogelijk. Onze empirische analyse onthult dat LLM's verschillend presteren bij het behandelen van vragen met verschillende redeneerstructuren. Deze bevinding vergemakkelijkt de verkenning van tekstuele structuren in vergelijking met semantiek.

English

Large Language Models (LLMs) have excelled in multi-hop question-answering (M-QA) due to their advanced reasoning abilities. However, the impact of the inherent reasoning structures on LLM M-QA performance remains unclear, largely due to the absence of QA datasets that provide fine-grained reasoning structures. To address this gap, we introduce the Graph Reasoning-Structured Question Answering Dataset (GRS-QA), which includes both semantic contexts and reasoning structures for QA pairs. Unlike existing M-QA datasets, where different reasoning structures are entangled together, GRS-QA explicitly captures intricate reasoning pathways by constructing reasoning graphs, where nodes represent textual contexts and edges denote logical flows. These reasoning graphs of different structures enable a fine-grained evaluation of LLM reasoning capabilities across various reasoning structures. Our empirical analysis reveals that LLMs perform differently when handling questions with varying reasoning structures. This finding facilitates the exploration of textual structures as compared with semantics.