EmbodiedEval: 체현된 에이전트로서 다중 모달 LLMs 평가

EmbodiedEval: Evaluate Multimodal LLMs as Embodied Agents

January 21, 2025

저자: Zhili Cheng, Yuge Tu, Ran Li, Shiqi Dai, Jinyi Hu, Shengding Hu, Jiahao Li, Yang Shi, Tianyu Yu, Weize Chen, Lei Shi, Maosong Sun

cs.AI

초록

다중 모달 대형 언어 모델(Multimodal Large Language Models, MLLMs)은 상당한 발전을 보여주며, 구현된 에이전트들에게 융합된 미래를 제공한다. MLLMs을 평가하기 위한 기존 벤치마크는 주로 정적 이미지나 비디오를 활용하여, 상호작용이 없는 시나리오에 대한 평가로 제한되어 있다. 한편, 기존의 융합된 AI 벤치마크는 과제별이며 다양성이 충분하지 않아 MLLMs의 융합된 능력을 충분히 평가하지 못한다. 이에 우리는 MLLMs을 위한 포괄적이고 상호작용적인 평가 벤치마크인 EmbodiedEval을 제안한다. EmbodiedEval은 125가지 다양한 3D 장면 내 328가지 독특한 과제를 특히 엄선되고 주석이 달려있는 형태로 제공한다. 이는 기존의 융합된 AI 과제의 넓은 스펙트럼을 다양하게 다루며, MLLMs에 특화된 통합된 시뮬레이션 및 평가 프레임워크 내에서 이루어진다. 이러한 과제는 다섯 가지 범주로 구성되어 있으며, 즉 탐색, 물체 상호작용, 사회적 상호작용, 특성 질문 응답, 그리고 공간 질문 응답으로 에이전트의 다양한 능력을 평가한다. 우리는 최첨단 MLLMs을 EmbodiedEval에서 평가한 결과, 그들이 융합된 과제에서 인간 수준과 비교하여 상당한 결핍이 있음을 발견했다. 우리의 분석은 기존 MLLMs의 융합된 능력의 한계를 보여주며, 그들의 미래 발전에 대한 통찰을 제공한다. 우리는 모든 평가 데이터와 시뮬레이션 프레임워크를 https://github.com/thunlp/EmbodiedEval에서 오픈 소스로 제공한다.

English

Multimodal Large Language Models (MLLMs) have shown significant advancements, providing a promising future for embodied agents. Existing benchmarks for evaluating MLLMs primarily utilize static images or videos, limiting assessments to non-interactive scenarios. Meanwhile, existing embodied AI benchmarks are task-specific and not diverse enough, which do not adequately evaluate the embodied capabilities of MLLMs. To address this, we propose EmbodiedEval, a comprehensive and interactive evaluation benchmark for MLLMs with embodied tasks. EmbodiedEval features 328 distinct tasks within 125 varied 3D scenes, each of which is rigorously selected and annotated. It covers a broad spectrum of existing embodied AI tasks with significantly enhanced diversity, all within a unified simulation and evaluation framework tailored for MLLMs. The tasks are organized into five categories: navigation, object interaction, social interaction, attribute question answering, and spatial question answering to assess different capabilities of the agents. We evaluated the state-of-the-art MLLMs on EmbodiedEval and found that they have a significant shortfall compared to human level on embodied tasks. Our analysis demonstrates the limitations of existing MLLMs in embodied capabilities, providing insights for their future development. We open-source all evaluation data and simulation framework at https://github.com/thunlp/EmbodiedEval.