LongBench v2: 現実的な長い文脈のマルチタスクに対するより深い理解と推論に向けて

LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks

December 19, 2024

著者: Yushi Bai, Shangqing Tu, Jiajie Zhang, Hao Peng, Xiaozhi Wang, Xin Lv, Shulin Cao, Jiazheng Xu, Lei Hou, Yuxiao Dong, Jie Tang, Juanzi Li

cs.AI

要旨

本論文では、LLMが実世界のマルチタスクにわたる深い理解と推論を必要とする長い文脈の問題を処理する能力を評価するために設計されたベンチマークであるLongBench v2を紹介します。LongBench v2には、8kから2M語までの文脈を持つ503の難解な多肢選択問題が含まれており、単一文書QA、複数文書QA、長い文脈学習、長い対話履歴理解、コードリポジトリ理解、長い構造化データ理解の6つの主要なタスクカテゴリが含まれています。幅広さと実用性を確保するために、高学歴で多様な専門的バックグラウンドを持つ約100人の個人からデータを収集しました。高い品質と難易度を維持するために自動化および手動のレビュープロセスを採用し、結果として、人間の専門家でも15分の時間制約下で53.7%の正解率しか達成できませんでした。評価の結果、直接問題に答える場合、最も性能の良いモデルでも50.1%の正解率にとどまりました。一方、より長い推論を含むo1-previewモデルは57.7%の正解率を達成し、人間の基準を4%上回りました。これらの結果は、長い文脈の課題に取り組むために推論能力を向上させ、推論時間の計算をスケーリングする重要性を強調しています。このプロジェクトはhttps://longbench2.github.ioで利用可能です。

English

This paper introduces LongBench v2, a benchmark designed to assess the ability of LLMs to handle long-context problems requiring deep understanding and reasoning across real-world multitasks. LongBench v2 consists of 503 challenging multiple-choice questions, with contexts ranging from 8k to 2M words, across six major task categories: single-document QA, multi-document QA, long in-context learning, long-dialogue history understanding, code repository understanding, and long structured data understanding. To ensure the breadth and the practicality, we collect data from nearly 100 highly educated individuals with diverse professional backgrounds. We employ both automated and manual review processes to maintain high quality and difficulty, resulting in human experts achieving only 53.7% accuracy under a 15-minute time constraint. Our evaluation reveals that the best-performing model, when directly answers the questions, achieves only 50.1% accuracy. In contrast, the o1-preview model, which includes longer reasoning, achieves 57.7%, surpassing the human baseline by 4%. These results highlight the importance of enhanced reasoning ability and scaling inference-time compute to tackle the long-context challenges in LongBench v2. The project is available at https://longbench2.github.io.