MATATA: 테이블 애플리케이션을 위한 약한 지도된 수학 도구 지원 추론

MATATA: a weak-supervised MAthematical Tool-Assisted reasoning for Tabular Applications

November 28, 2024

저자: Vishnou Vinayagame, Gregory Senay, Luis Martí

cs.AI

초록

수학적 추론 능력은 도구 보조 언어 에이전트를 통해 증가하고 있지만, 방법은 종종 폐쇄 소스나 대규모 모델, 외부 데이터 또는 방대한 프롬프트 엔지니어링에 의존합니다. 본 연구는 MATATA를 소개하는데, 이는 추론, 계획 및 도구 사용을 통해 탭 데이터 문제에 대한 LLM 에이전트를 훈련하기 위한 혁신적이고 비용 효율적인 방법입니다. 점진적 자가 향상 패러다임과 반복적인 약한 지도 학습을 통해, 이는 데이터 프라이버시가 중요한 로컬 호스팅 및 민감한 비즈니스 환경에 특히 적합한 3.8B/8B 소형 언어 모델(SLMs)을 강화합니다. 다양한 데이터셋에 걸쳐 유연하고 재사용 가능한 도구를 활용함으로써, 공유 작업에 걸쳐 효과적인 확장성으로 견고한 성능을 달성합니다. 실험 결과 MATATA는 오픈 소스 모델을 기반으로 한 추론 프레임워크 중 FinQA 및 TAT-QA에서 최첨단 성능을 달성합니다. 더불어, MATATA 모델은 SLMs임에도 불구하고 TabMWP에서 GPT-4 기반 프레임워크와 경쟁합니다.

English

Mathematical reasoning capabilities are increasing with tool-augmented language agents, but methods often rely either on closed-source or large models, external data, or extensive prompt engineering. This work introduces MATATA, a novel cost-effective method to train LLM agents for tabular data problems through reasoning, planning, and tool use. With a progressive self-improvement paradigm and an iterative weak supervision, it empowers 3.8B/8B Small Language Models (SLMs), particularly suited for local hosting and sensitive business contexts where data privacy is crucial. By employing a flexible and reusable tools across different datasets, it achieves robust performance with effective scalability across shared tasks. Experiments show that MATATA reaches state-of-the-art performances on FinQA and TAT-QA among reasoning frameworks based on open-source models. Moreover, MATATA models compete with GPT-4 based frameworks on TabMWP, while being SLMs.