OmniEval: Un Benchmark di Valutazione RAG Omnidirezionale e Automatico nel Dominio Finanziario

OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain

December 17, 2024

Autori: Shuting Wang, Jiejun Tan, Zhicheng Dou, Ji-Rong Wen

cs.AI

Abstract

Come tipica e pratica applicazione dei Large Language Models (LLM), le tecniche di Generazione con Recupero potenziato (RAG) hanno attirato ampia attenzione, in particolare nei settori verticali in cui i LLM potrebbero mancare di conoscenze specifiche del dominio. In questo articolo, presentiamo un benchmark RAG onnicomprensivo e automatico, OmniEval, nel settore finanziario. Il nostro benchmark è caratterizzato dal suo quadro di valutazione multidimensionale, che include (1) un sistema di valutazione degli scenari RAG basato su matrici che categorizza le query in cinque classi di compiti e 16 argomenti finanziari, portando a una valutazione strutturata di diversi scenari di query; (2) un approccio di generazione dati multidimensionale, che combina la generazione automatica basata su GPT-4 e l'annotazione umana, raggiungendo un tasso di accettazione dell'87,47\% nelle valutazioni umane su istanze generate; (3) un sistema di valutazione a più stadi che valuta sia le prestazioni di recupero che di generazione, risultando in una valutazione completa del processo RAG; e (4) metriche di valutazione robuste derivate da quelle basate su regole e su LLM, migliorando l'affidabilità delle valutazioni attraverso annotazioni manuali e il raffinamento supervisionato di un valutatore LLM. I nostri esperimenti dimostrano la completezza di OmniEval, che include ampi set di dati di test e mette in luce le variazioni delle prestazioni dei sistemi RAG su argomenti e compiti diversificati, rivelando significative opportunità per i modelli RAG di migliorare le proprie capacità nei settori verticali. Rilasciamo il codice del nostro benchmark come open source su https://github.com/RUC-NLPIR/OmniEval.

English

As a typical and practical application of Large Language Models (LLMs), Retrieval-Augmented Generation (RAG) techniques have gained extensive attention, particularly in vertical domains where LLMs may lack domain-specific knowledge. In this paper, we introduce an omnidirectional and automatic RAG benchmark, OmniEval, in the financial domain. Our benchmark is characterized by its multi-dimensional evaluation framework, including (1) a matrix-based RAG scenario evaluation system that categorizes queries into five task classes and 16 financial topics, leading to a structured assessment of diverse query scenarios; (2) a multi-dimensional evaluation data generation approach, which combines GPT-4-based automatic generation and human annotation, achieving an 87.47\% acceptance ratio in human evaluations on generated instances; (3) a multi-stage evaluation system that evaluates both retrieval and generation performance, result in a comprehensive evaluation on the RAG pipeline; and (4) robust evaluation metrics derived from rule-based and LLM-based ones, enhancing the reliability of assessments through manual annotations and supervised fine-tuning of an LLM evaluator. Our experiments demonstrate the comprehensiveness of OmniEval, which includes extensive test datasets and highlights the performance variations of RAG systems across diverse topics and tasks, revealing significant opportunities for RAG models to improve their capabilities in vertical domains. We open source the code of our benchmark in https://github.com/RUC-NLPIR/OmniEval{https://github.com/RUC-NLPIR/OmniEval}.