LongBench v2: 현실적인 장기 맥락 다중 작업에 대한 보다 심층적인 이해와 추론을 향하여

LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks

December 19, 2024

저자: Yushi Bai, Shangqing Tu, Jiajie Zhang, Hao Peng, Xiaozhi Wang, Xin Lv, Shulin Cao, Jiazheng Xu, Lei Hou, Yuxiao Dong, Jie Tang, Juanzi Li

cs.AI

초록

본 논문은 LLMs의 능력을 평가하기 위해 설계된 LongBench v2를 소개합니다. LongBench v2는 현실 세계의 다중 작업을 통해 깊은 이해와 추론이 필요한 긴 문맥 문제를 다룰 수 있는 능력을 평가하기 위한 벤치마크입니다. LongBench v2는 총 503개의 어려운 객관식 문제로 구성되어 있으며, 문맥은 8k에서 2M 단어에 이르기까지 다양합니다. 이는 단일 문서 QA, 다중 문서 QA, 긴 문맥 학습, 긴 대화 이력 이해, 코드 저장소 이해, 그리고 긴 구조화된 데이터 이해와 같은 여섯 가지 주요 작업 범주로 구성되어 있습니다. 우리는 다양한 전문적 배경을 가진 거의 100명의 교육 수준이 높은 개인들로부터 데이터를 수집하여 범위와 실용성을 보장합니다. 우리는 고품질과 난이도를 유지하기 위해 자동 및 수동 검토 과정을 동시에 활용하며, 이로써 15분 시간 제약 하에 인간 전문가들의 정확도는 53.7%에 불과합니다. 우리의 평가 결과, 질문에 직접 답변할 때 가장 성능이 우수한 모델은 50.1%의 정확도에 그칩니다. 반면, 더 긴 추론을 포함하는 o1-preview 모델은 57.7%의 정확도를 달성하여, 인간의 기준치를 4% 초과하였습니다. 이러한 결과는 LongBench v2의 긴 문맥 도전 과제를 해결하기 위해 향상된 추론 능력과 추론 시간 컴퓨팅의 확장의 중요성을 강조합니다. 해당 프로젝트는 https://longbench2.github.io에서 이용 가능합니다.

English

This paper introduces LongBench v2, a benchmark designed to assess the ability of LLMs to handle long-context problems requiring deep understanding and reasoning across real-world multitasks. LongBench v2 consists of 503 challenging multiple-choice questions, with contexts ranging from 8k to 2M words, across six major task categories: single-document QA, multi-document QA, long in-context learning, long-dialogue history understanding, code repository understanding, and long structured data understanding. To ensure the breadth and the practicality, we collect data from nearly 100 highly educated individuals with diverse professional backgrounds. We employ both automated and manual review processes to maintain high quality and difficulty, resulting in human experts achieving only 53.7% accuracy under a 15-minute time constraint. Our evaluation reveals that the best-performing model, when directly answers the questions, achieves only 50.1% accuracy. In contrast, the o1-preview model, which includes longer reasoning, achieves 57.7%, surpassing the human baseline by 4%. These results highlight the importance of enhanced reasoning ability and scaling inference-time compute to tackle the long-context challenges in LongBench v2. The project is available at https://longbench2.github.io.