MATATA: uno strumento matematico assistito per il ragionamento a supervisione debole per Applicazioni Tabulari

MATATA: a weak-supervised MAthematical Tool-Assisted reasoning for Tabular Applications

November 28, 2024

Autori: Vishnou Vinayagame, Gregory Senay, Luis Martí

cs.AI

Abstract

Le capacità di ragionamento matematico stanno aumentando con agenti linguistici potenziati da strumenti, ma i metodi spesso si basano su modelli chiusi o di grandi dimensioni, dati esterni o un'ingegneria di prompt estensiva. Questo lavoro introduce MATATA, un nuovo metodo economico per addestrare agenti LLM per problemi di dati tabulari attraverso ragionamento, pianificazione e utilizzo di strumenti. Con un paradigma di auto-miglioramento progressivo e una debole supervisione iterativa, potenzia i Modelli Linguistici di Piccole Dimensioni (SLM) da 3.8B/8B, particolarmente adatti per l'hosting locale e contesti aziendali sensibili in cui la privacy dei dati è cruciale. Utilizzando strumenti flessibili e riutilizzabili su diversi set di dati, raggiunge prestazioni robuste con scalabilità efficace su compiti condivisi. Gli esperimenti mostrano che MATATA raggiunge prestazioni all'avanguardia su FinQA e TAT-QA tra i framework di ragionamento basati su modelli open-source. Inoltre, i modelli MATATA competono con i framework basati su GPT-4 su TabMWP, pur essendo SLM.

English

Mathematical reasoning capabilities are increasing with tool-augmented language agents, but methods often rely either on closed-source or large models, external data, or extensive prompt engineering. This work introduces MATATA, a novel cost-effective method to train LLM agents for tabular data problems through reasoning, planning, and tool use. With a progressive self-improvement paradigm and an iterative weak supervision, it empowers 3.8B/8B Small Language Models (SLMs), particularly suited for local hosting and sensitive business contexts where data privacy is crucial. By employing a flexible and reusable tools across different datasets, it achieves robust performance with effective scalability across shared tasks. Experiments show that MATATA reaches state-of-the-art performances on FinQA and TAT-QA among reasoning frameworks based on open-source models. Moreover, MATATA models compete with GPT-4 based frameworks on TabMWP, while being SLMs.