LongBench v2: Verso una comprensione e un ragionamento più approfonditi su compiti multipli con contesti lunghi e realistici.

LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks

December 19, 2024

Autori: Yushi Bai, Shangqing Tu, Jiajie Zhang, Hao Peng, Xiaozhi Wang, Xin Lv, Shulin Cao, Jiazheng Xu, Lei Hou, Yuxiao Dong, Jie Tang, Juanzi Li

cs.AI

Abstract

Questo articolo introduce LongBench v2, un benchmark progettato per valutare la capacità dei LLM di gestire problemi di contesto lungo che richiedono una profonda comprensione e ragionamento attraverso multitask del mondo reale. LongBench v2 è composto da 503 domande a scelta multipla impegnative, con contesti che vanno da 8k a 2M parole, distribuiti in sei categorie principali di compiti: domande e risposte su singoli documenti, domande e risposte su documenti multipli, apprendimento in contesto lungo, comprensione della storia di dialoghi lunga, comprensione di repository di codice e comprensione di dati strutturati lunghi. Per garantire l'ampiezza e la praticità, raccogliamo dati da quasi 100 individui altamente istruiti con background professionali diversi. Utilizziamo processi di revisione automatizzati e manuali per mantenere alta qualità e difficoltà, risultando in esperti umani che raggiungono solo il 53,7% di accuratezza sotto un vincolo di tempo di 15 minuti. La nostra valutazione rivela che il modello che si comporta meglio, quando risponde direttamente alle domande, raggiunge solo il 50,1% di accuratezza. In contrasto, il modello o1-preview, che include un ragionamento più lungo, raggiunge il 57,7%, superando la base umana del 4%. Questi risultati evidenziano l'importanza dell'abilità di ragionamento potenziata e dell'incremento del calcolo al momento dell'inferenza per affrontare le sfide di contesto lungo in LongBench v2. Il progetto è disponibile su https://longbench2.github.io.

English

This paper introduces LongBench v2, a benchmark designed to assess the ability of LLMs to handle long-context problems requiring deep understanding and reasoning across real-world multitasks. LongBench v2 consists of 503 challenging multiple-choice questions, with contexts ranging from 8k to 2M words, across six major task categories: single-document QA, multi-document QA, long in-context learning, long-dialogue history understanding, code repository understanding, and long structured data understanding. To ensure the breadth and the practicality, we collect data from nearly 100 highly educated individuals with diverse professional backgrounds. We employ both automated and manual review processes to maintain high quality and difficulty, resulting in human experts achieving only 53.7% accuracy under a 15-minute time constraint. Our evaluation reveals that the best-performing model, when directly answers the questions, achieves only 50.1% accuracy. In contrast, the o1-preview model, which includes longer reasoning, achieves 57.7%, surpassing the human baseline by 4%. These results highlight the importance of enhanced reasoning ability and scaling inference-time compute to tackle the long-context challenges in LongBench v2. The project is available at https://longbench2.github.io.