GRS-QA -- Datensatz zur graphbasierten Schlussfolgerung und strukturierten Fragebeantwortung

GRS-QA -- Graph Reasoning-Structured Question Answering Dataset

November 1, 2024

Autoren: Anish Pahilajani, Devasha Trivedi, Jincen Shuai, Khin S. Yone, Samyak Rajesh Jain, Namyong Park, Ryan A. Rossi, Nesreen K. Ahmed, Franck Dernoncourt, Yu Wang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben sich im Multi-Hop-Frage-Antworten (M-QA) aufgrund ihrer fortschrittlichen Fähigkeiten im logischen Denken hervorgetan. Allerdings bleibt der Einfluss der inhärenten logischen Strukturen auf die Leistung von LLMs im M-QA weitgehend unklar, hauptsächlich aufgrund des Mangels an QA-Datensätzen, die fein abgestufte logische Strukturen bereitstellen. Um diese Lücke zu schließen, stellen wir den Graphen-Logik-strukturierten Frage-Antworten-Datensatz (GRS-QA) vor, der sowohl semantische Kontexte als auch logische Strukturen für QA-Paare enthält. Im Gegensatz zu bestehenden M-QA-Datensätzen, in denen verschiedene logische Strukturen miteinander verflochten sind, erfasst GRS-QA explizit komplexe logische Pfade, indem es Logikgraphen konstruiert, in denen Knoten textuelle Kontexte darstellen und Kanten logische Flüsse anzeigen. Diese Logikgraphen unterschiedlicher Strukturen ermöglichen eine fein abgestufte Bewertung der logischen Fähigkeiten von LLMs über verschiedene logische Strukturen hinweg. Unsere empirische Analyse zeigt, dass LLMs sich unterschiedlich verhalten, wenn sie Fragen mit verschiedenen logischen Strukturen bearbeiten. Diese Erkenntnis erleichtert die Erforschung von textuellen Strukturen im Vergleich zu Semantik.

English

Large Language Models (LLMs) have excelled in multi-hop question-answering (M-QA) due to their advanced reasoning abilities. However, the impact of the inherent reasoning structures on LLM M-QA performance remains unclear, largely due to the absence of QA datasets that provide fine-grained reasoning structures. To address this gap, we introduce the Graph Reasoning-Structured Question Answering Dataset (GRS-QA), which includes both semantic contexts and reasoning structures for QA pairs. Unlike existing M-QA datasets, where different reasoning structures are entangled together, GRS-QA explicitly captures intricate reasoning pathways by constructing reasoning graphs, where nodes represent textual contexts and edges denote logical flows. These reasoning graphs of different structures enable a fine-grained evaluation of LLM reasoning capabilities across various reasoning structures. Our empirical analysis reveals that LLMs perform differently when handling questions with varying reasoning structures. This finding facilitates the exploration of textual structures as compared with semantics.