LongBench v2: Rumo a uma Compreensão e Raciocínio Mais Profundos em Tarefas Multicontexto Realistas de Longo Alcance

LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks

December 19, 2024

Autores: Yushi Bai, Shangqing Tu, Jiajie Zhang, Hao Peng, Xiaozhi Wang, Xin Lv, Shulin Cao, Jiazheng Xu, Lei Hou, Yuxiao Dong, Jie Tang, Juanzi Li

cs.AI

Resumo

Este artigo apresenta o LongBench v2, um benchmark projetado para avaliar a capacidade dos LLMs de lidar com problemas de longo contexto que exigem compreensão profunda e raciocínio em multitarefas do mundo real. O LongBench v2 consiste em 503 perguntas desafiadoras de múltipla escolha, com contextos variando de 8k a 2M palavras, abrangendo seis grandes categorias de tarefas: QA de um único documento, QA de vários documentos, aprendizado longo em contexto, compreensão de histórico de diálogo longo, compreensão de repositório de código e compreensão de dados estruturados longos. Para garantir a abrangência e a praticidade, coletamos dados de quase 100 indivíduos altamente educados com diversas formações profissionais. Empregamos processos de revisão automatizados e manuais para manter alta qualidade e dificuldade, resultando em especialistas humanos alcançando apenas 53,7% de precisão sob uma restrição de tempo de 15 minutos. Nossa avaliação revela que o modelo com melhor desempenho, ao responder diretamente às perguntas, alcança apenas 50,1% de precisão. Em contraste, o modelo o1-preview, que inclui raciocínio mais longo, atinge 57,7%, superando a linha de base humana em 4%. Esses resultados destacam a importância da capacidade aprimorada de raciocínio e da escalabilidade do cálculo no tempo de inferência para lidar com os desafios de longo contexto no LongBench v2. O projeto está disponível em https://longbench2.github.io.

English

This paper introduces LongBench v2, a benchmark designed to assess the ability of LLMs to handle long-context problems requiring deep understanding and reasoning across real-world multitasks. LongBench v2 consists of 503 challenging multiple-choice questions, with contexts ranging from 8k to 2M words, across six major task categories: single-document QA, multi-document QA, long in-context learning, long-dialogue history understanding, code repository understanding, and long structured data understanding. To ensure the breadth and the practicality, we collect data from nearly 100 highly educated individuals with diverse professional backgrounds. We employ both automated and manual review processes to maintain high quality and difficulty, resulting in human experts achieving only 53.7% accuracy under a 15-minute time constraint. Our evaluation reveals that the best-performing model, when directly answers the questions, achieves only 50.1% accuracy. In contrast, the o1-preview model, which includes longer reasoning, achieves 57.7%, surpassing the human baseline by 4%. These results highlight the importance of enhanced reasoning ability and scaling inference-time compute to tackle the long-context challenges in LongBench v2. The project is available at https://longbench2.github.io.