VidEgoThink: Het beoordelen van de mogelijkheden voor het begrijpen van egocentrische video's voor geïncarneerde AI.

VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI

October 15, 2024

Auteurs: Sijie Cheng, Kechen Fang, Yangyang Yu, Sicheng Zhou, Bohao Li, Ye Tian, Tingguang Li, Lei Han, Yang Liu

cs.AI

Samenvatting

Recente ontwikkelingen in Multi-modale Grote Taalmodellen (MLLM's) hebben nieuwe mogelijkheden geopend voor toepassingen in Embodied AI. Voortbouwend op eerdere werkzaamheden, EgoThink, introduceren we VidEgoThink, een uitgebreide benchmark voor het evalueren van egocentrische videobegripsmogelijkheden. Om de kloof tussen MLLM's en laag-niveau controle in Embodied AI te overbruggen, ontwerpen we vier sleutelgerelateerde taken: video-vraagbeantwoording, hiërarchieplanning, visuele verankering en beloningsmodellering. Om de kosten van handmatige annotatie te minimaliseren, ontwikkelen we een automatisch gegevensgeneratieproces op basis van de Ego4D-dataset, waarbij gebruik wordt gemaakt van de voorkennis en multimodale mogelijkheden van GPT-4o. Vervolgens filteren drie menselijke annotatoren de gegenereerde gegevens om diversiteit en kwaliteit te waarborgen, resulterend in de VidEgoThink benchmark. We voeren uitgebreide experimenten uit met drie soorten modellen: API-gebaseerde MLLM's, open-source afbeeldingsgebaseerde MLLM's en open-source videogebaseerde MLLM's. Experimentele resultaten geven aan dat alle MLLM's, inclusief GPT-4o, slecht presteren op alle taken met betrekking tot egocentrisch videobegrip. Deze bevindingen suggereren dat foundation modellen nog aanzienlijke vooruitgang nodig hebben om effectief toegepast te kunnen worden op eerstepersoonsscenario's in Embodied AI. Ter afsluiting weerspiegelt VidEgoThink een onderzoekstrend om MLLM's in te zetten voor egocentrische visie, vergelijkbaar met menselijke mogelijkheden, waardoor actieve observatie en interactie in complexe real-world omgevingen mogelijk worden gemaakt.

English

Recent advancements in Multi-modal Large Language Models (MLLMs) have opened new avenues for applications in Embodied AI. Building on previous work, EgoThink, we introduce VidEgoThink, a comprehensive benchmark for evaluating egocentric video understanding capabilities. To bridge the gap between MLLMs and low-level control in Embodied AI, we design four key interrelated tasks: video question-answering, hierarchy planning, visual grounding and reward modeling. To minimize manual annotation costs, we develop an automatic data generation pipeline based on the Ego4D dataset, leveraging the prior knowledge and multimodal capabilities of GPT-4o. Three human annotators then filter the generated data to ensure diversity and quality, resulting in the VidEgoThink benchmark. We conduct extensive experiments with three types of models: API-based MLLMs, open-source image-based MLLMs, and open-source video-based MLLMs. Experimental results indicate that all MLLMs, including GPT-4o, perform poorly across all tasks related to egocentric video understanding. These findings suggest that foundation models still require significant advancements to be effectively applied to first-person scenarios in Embodied AI. In conclusion, VidEgoThink reflects a research trend towards employing MLLMs for egocentric vision, akin to human capabilities, enabling active observation and interaction in the complex real-world environments.