FLARE: Getrouwe Logica-Ondersteunde Redenering en Verkenning

FLARE: Faithful Logic-Aided Reasoning and Exploration

October 14, 2024

Auteurs: Erik Arakelyan, Pasquale Minervini, Pat Verga, Patrick Lewis, Isabelle Augenstein

cs.AI

Samenvatting

Moderne Vraag-Antwoord (QA) en Redeneerbenaderingen gebaseerd op Grote Taalmodellen (LLMs) maken vaak gebruik van aanwijstechnieken, zoals Chain-of-Thought (CoT), waarbij wordt aangenomen dat de resulterende generatie een meer gedetailleerde verkenning en redenering over de vraagruimte en -scope zal hebben. Echter, dergelijke methoden worstelen met het genereren van uitvoer die trouw is aan de tussenliggende redeneringsketen geproduceerd door het model. Aan de andere kant van het spectrum stellen neuro-symbolische methoden zoals Faithful CoT (F-CoT) voor om LLMs te combineren met externe symbolische oplossers. Hoewel dergelijke benaderingen een hoog niveau van trouw beloven, vereisen ze meestal een model dat is getraind voor codegeneratie en worstelen ze met taken die ambigu of moeilijk strikt te formaliseren zijn. Wij introduceren Faithful Logic-Geassisteerde Redenering en Verkenning (\ours), een nieuw interpreteerbaar benadering voor het doorkruisen van het probleemgebied door middel van taakdecomposities. We gebruiken het LLM om een oplossing te plannen, de query zacht te formaliseren in feiten en predikaten met behulp van een logisch programmeercode en simuleren die code-uitvoering met een uitputtende multi-hop zoektocht over de gedefinieerde ruimte. Onze methode stelt ons in staat om de trouw van het redeneerproces t.o.v. de gegenereerde code te berekenen en de stappen van de multi-hop zoektocht te analyseren zonder te vertrouwen op externe oplossers. Onze methoden behalen SOTA-resultaten op 7 van de 9 diverse redeneerbenchmarks. We tonen ook aan dat modeltrouw positief correleert met de algehele prestaties en demonstreren verder dat {\ours} het mogelijk maakt om de beslissende factoren aan te wijzen die voldoende zijn voor en leiden tot het juiste antwoord met optimale redenering tijdens de multi-hop zoektocht.

English

Modern Question Answering (QA) and Reasoning approaches based on Large Language Models (LLMs) commonly use prompting techniques, such as Chain-of-Thought (CoT), assuming the resulting generation will have a more granular exploration and reasoning over the question space and scope. However, such methods struggle with generating outputs that are faithful to the intermediate chain of reasoning produced by the model. On the other end of the spectrum, neuro-symbolic methods such as Faithful CoT (F-CoT) propose to combine LLMs with external symbolic solvers. While such approaches boast a high degree of faithfulness, they usually require a model trained for code generation and struggle with tasks that are ambiguous or hard to formalise strictly. We introduce Faithful Logic-Aided Reasoning and Exploration (\ours), a novel interpretable approach for traversing the problem space using task decompositions. We use the LLM to plan a solution, soft-formalise the query into facts and predicates using a logic programming code and simulate that code execution using an exhaustive multi-hop search over the defined space. Our method allows us to compute the faithfulness of the reasoning process w.r.t. the generated code and analyse the steps of the multi-hop search without relying on external solvers. Our methods achieve SOTA results on 7 out of 9 diverse reasoning benchmarks. We also show that model faithfulness positively correlates with overall performance and further demonstrate that {\ours} allows pinpointing the decisive factors sufficient for and leading to the correct answer with optimal reasoning during the multi-hop search.