EmbodiedEval: Beoordeel Multimodale Taalmodelen als Geïncarneerde Agenten

EmbodiedEval: Evaluate Multimodal LLMs as Embodied Agents

January 21, 2025

Auteurs: Zhili Cheng, Yuge Tu, Ran Li, Shiqi Dai, Jinyi Hu, Shengding Hu, Jiahao Li, Yang Shi, Tianyu Yu, Weize Chen, Lei Shi, Maosong Sun

cs.AI

Samenvatting

Multimodale Grote Taalmodellen (MLLM's) hebben significante vooruitgang getoond, wat een veelbelovende toekomst biedt voor belichaamde agenten. Bestaande benchmarks voor het evalueren van MLLM's maken voornamelijk gebruik van statische afbeeldingen of video's, waardoor beoordelingen beperkt blijven tot niet-interactieve scenario's. Ondertussen zijn bestaande belichaamde AI-benchmarks taakspecifiek en niet divers genoeg, wat de belichaamde mogelijkheden van MLLM's niet adequaat evalueert. Om dit aan te pakken, stellen we EmbodiedEval voor, een uitgebreide en interactieve evaluatiebenchmark voor MLLM's met belichaamde taken. EmbodiedEval omvat 328 verschillende taken binnen 125 gevarieerde 3D-scènes, elk zorgvuldig geselecteerd en geannoteerd. Het bestrijkt een breed spectrum van bestaande belichaamde AI-taken met aanzienlijk verbeterde diversiteit, allemaal binnen een uniforme simulatie- en evaluatieomgeving die is afgestemd op MLLM's. De taken zijn onderverdeeld in vijf categorieën: navigatie, objectinteractie, sociale interactie, attribuutvraagbeantwoording en ruimtelijke vraagbeantwoording om verschillende mogelijkheden van de agenten te beoordelen. We hebben de state-of-the-art MLLM's geëvalueerd op EmbodiedEval en vastgesteld dat ze aanzienlijk tekortschieten in vergelijking met het menselijke niveau bij belichaamde taken. Onze analyse toont de beperkingen van bestaande MLLM's in belichaamde mogelijkheden aan en biedt inzichten voor hun toekomstige ontwikkeling. We stellen alle evaluatiegegevens en simulatieframework open-source beschikbaar op https://github.com/thunlp/EmbodiedEval.

English

Multimodal Large Language Models (MLLMs) have shown significant advancements, providing a promising future for embodied agents. Existing benchmarks for evaluating MLLMs primarily utilize static images or videos, limiting assessments to non-interactive scenarios. Meanwhile, existing embodied AI benchmarks are task-specific and not diverse enough, which do not adequately evaluate the embodied capabilities of MLLMs. To address this, we propose EmbodiedEval, a comprehensive and interactive evaluation benchmark for MLLMs with embodied tasks. EmbodiedEval features 328 distinct tasks within 125 varied 3D scenes, each of which is rigorously selected and annotated. It covers a broad spectrum of existing embodied AI tasks with significantly enhanced diversity, all within a unified simulation and evaluation framework tailored for MLLMs. The tasks are organized into five categories: navigation, object interaction, social interaction, attribute question answering, and spatial question answering to assess different capabilities of the agents. We evaluated the state-of-the-art MLLMs on EmbodiedEval and found that they have a significant shortfall compared to human level on embodied tasks. Our analysis demonstrates the limitations of existing MLLMs in embodied capabilities, providing insights for their future development. We open-source all evaluation data and simulation framework at https://github.com/thunlp/EmbodiedEval.