Il Pensiero Inverso Rende i LLM Più Forti nei Processi di Ragionamento

Reverse Thinking Makes LLMs Stronger Reasoners

November 29, 2024

Autori: Justin Chih-Yao Chen, Zifeng Wang, Hamid Palangi, Rujun Han, Sayna Ebrahimi, Long Le, Vincent Perot, Swaroop Mishra, Mohit Bansal, Chen-Yu Lee, Tomas Pfister

cs.AI

Abstract

Il pensiero inverso svolge un ruolo cruciale nel ragionamento umano. Gli esseri umani possono ragionare non solo da un problema a una soluzione, ma anche al contrario, cioè partendo dalla soluzione e ragionando verso il problema. Questo spesso migliora le prestazioni complessive del ragionamento poiché consente controlli di coerenza tra il loro pensiero in avanti e all'indietro. Per consentire ai Grandi Modelli Linguistici (LLM) di eseguire il pensiero inverso, introduciamo il Pensiero Potenziato Inverso (RevThink), un framework composto da data augmentation e obiettivi di apprendimento. In RevThink, aumentiamo il dataset raccogliendo ragionamenti strutturati in avanti e all'indietro da un modello insegnante, che consistono in: (1) la domanda originale, (2) il ragionamento in avanti, (3) la domanda all'indietro e (4) il ragionamento all'indietro. Successivamente, utilizziamo tre obiettivi per addestrare un modello studente più piccolo in uno stile di apprendimento multi-task: (a) generare un ragionamento in avanti da una domanda, (b) generare una domanda all'indietro da una domanda e (c) generare un ragionamento all'indietro dalla domanda all'indietro. Gli esperimenti su 12 dataset che coprono il buon senso, la matematica e il ragionamento logico mostrano un miglioramento medio del 13,53% rispetto alle prestazioni zero-shot del modello studente e un miglioramento del 6,84% rispetto alle migliori basi di distillazione della conoscenza. Inoltre, il nostro metodo dimostra efficienza campionaria: utilizzando solo il 10% del ragionamento in avanti corretto dai dati di addestramento, supera un metodo standard di fine-tuning addestrato su 10 volte più ragionamento in avanti. RevThink mostra inoltre una forte generalizzazione ai dataset detenuti fuori distribuzione.

English

Reverse thinking plays a crucial role in human reasoning. Humans can reason not only from a problem to a solution but also in reverse, i.e., start from the solution and reason towards the problem. This often enhances overall reasoning performance as it enables consistency checks between their forward and backward thinking. To enable Large Language Models (LLMs) to perform reverse thinking, we introduce Reverse-Enhanced Thinking (RevThink), a framework composed of data augmentation and learning objectives. In RevThink, we augment the dataset by collecting structured forward-backward reasoning from a teacher model, consisting of: (1) the original question, (2) forward reasoning, (3) backward question, and (4) backward reasoning. We then employ three objectives to train a smaller student model in a multi-task learning fashion: (a) generate forward reasoning from a question, (b) generate a backward question from a question, and (c) generate backward reasoning from the backward question. Experiments across 12 datasets covering commonsense, math, and logical reasoning show an average 13.53% improvement over the student model's zero-shot performance and a 6.84% improvement over the strongest knowledge distillation baselines. Moreover, our method demonstrates sample efficiency -- using only 10% of the correct forward reasoning from the training data, it outperforms a standard fine-tuning method trained on 10x more forward reasoning. RevThink also exhibits strong generalization to out-of-distribution held-out datasets.