GRS-QA -- Ensemble de données de Question-Réponse Structurée basée sur le Raisonnement Graphique

GRS-QA -- Graph Reasoning-Structured Question Answering Dataset

November 1, 2024

Auteurs: Anish Pahilajani, Devasha Trivedi, Jincen Shuai, Khin S. Yone, Samyak Rajesh Jain, Namyong Park, Ryan A. Rossi, Nesreen K. Ahmed, Franck Dernoncourt, Yu Wang

cs.AI

Résumé

Les grands modèles de langage (LLM) se sont distingués dans la réponse à des questions à plusieurs niveaux (M-QA) en raison de leurs capacités de raisonnement avancées. Cependant, l'impact des structures de raisonnement inhérentes sur les performances de M-QA des LLM reste flou, principalement en raison de l'absence de jeux de données de questions-réponses fournissant des structures de raisonnement détaillées. Pour combler cette lacune, nous introduisons l'Ensemble de données de questions-réponses structurées par raisonnement graphique (GRS-QA), qui inclut à la fois des contextes sémantiques et des structures de raisonnement pour les paires de questions-réponses. Contrairement aux ensembles de données M-QA existants, où différentes structures de raisonnement sont entremêlées, GRS-QA capture explicitement des chemins de raisonnement complexes en construisant des graphes de raisonnement, où les nœuds représentent des contextes textuels et les arêtes indiquent des flux logiques. Ces graphes de raisonnement de différentes structures permettent une évaluation détaillée des capacités de raisonnement des LLM à travers diverses structures de raisonnement. Notre analyse empirique révèle que les LLM se comportent différemment lorsqu'ils traitent des questions avec des structures de raisonnement variables. Cette découverte facilite l'exploration des structures textuelles par rapport à la sémantique.

English

Large Language Models (LLMs) have excelled in multi-hop question-answering (M-QA) due to their advanced reasoning abilities. However, the impact of the inherent reasoning structures on LLM M-QA performance remains unclear, largely due to the absence of QA datasets that provide fine-grained reasoning structures. To address this gap, we introduce the Graph Reasoning-Structured Question Answering Dataset (GRS-QA), which includes both semantic contexts and reasoning structures for QA pairs. Unlike existing M-QA datasets, where different reasoning structures are entangled together, GRS-QA explicitly captures intricate reasoning pathways by constructing reasoning graphs, where nodes represent textual contexts and edges denote logical flows. These reasoning graphs of different structures enable a fine-grained evaluation of LLM reasoning capabilities across various reasoning structures. Our empirical analysis reveals that LLMs perform differently when handling questions with varying reasoning structures. This finding facilitates the exploration of textual structures as compared with semantics.