GRS-QA - Dataset di domande e risposte strutturate basate sulla ragionamento grafico.

GRS-QA -- Graph Reasoning-Structured Question Answering Dataset

November 1, 2024

Autori: Anish Pahilajani, Devasha Trivedi, Jincen Shuai, Khin S. Yone, Samyak Rajesh Jain, Namyong Park, Ryan A. Rossi, Nesreen K. Ahmed, Franck Dernoncourt, Yu Wang

cs.AI

Abstract

I Large Language Models (LLM) hanno eccelso nel question-answering multi-hop (M-QA) grazie alle loro avanzate capacità di ragionamento. Tuttavia, l'impatto delle strutture di ragionamento intrinseche sulle prestazioni di M-QA dei LLM rimane poco chiaro, principalmente a causa dell'assenza di set di dati QA che forniscono strutture di ragionamento dettagliate. Per affrontare questa lacuna, introduciamo il Dataset di Question Answering Strutturato con Ragionamento Grafico (GRS-QA), che include contesti semantici e strutture di ragionamento per coppie di domande e risposte. A differenza dei dataset M-QA esistenti, dove diverse strutture di ragionamento sono intrecciate insieme, GRS-QA cattura esplicitamente intricati percorsi di ragionamento costruendo grafi di ragionamento, dove i nodi rappresentano contesti testuali e gli archi indicano flussi logici. Questi grafi di ragionamento di diverse strutture consentono una valutazione dettagliata delle capacità di ragionamento dei LLM attraverso varie strutture di ragionamento. La nostra analisi empirica rivela che i LLM si comportano in modo diverso quando affrontano domande con diverse strutture di ragionamento. Questa scoperta facilita l'esplorazione delle strutture testuali rispetto alla semantica.

English

Large Language Models (LLMs) have excelled in multi-hop question-answering (M-QA) due to their advanced reasoning abilities. However, the impact of the inherent reasoning structures on LLM M-QA performance remains unclear, largely due to the absence of QA datasets that provide fine-grained reasoning structures. To address this gap, we introduce the Graph Reasoning-Structured Question Answering Dataset (GRS-QA), which includes both semantic contexts and reasoning structures for QA pairs. Unlike existing M-QA datasets, where different reasoning structures are entangled together, GRS-QA explicitly captures intricate reasoning pathways by constructing reasoning graphs, where nodes represent textual contexts and edges denote logical flows. These reasoning graphs of different structures enable a fine-grained evaluation of LLM reasoning capabilities across various reasoning structures. Our empirical analysis reveals that LLMs perform differently when handling questions with varying reasoning structures. This finding facilitates the exploration of textual structures as compared with semantics.