VidEgoThink: 신체지향 인공지능을 위한 자아중심 비디오 이해 능력 평가

VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI

October 15, 2024

저자: Sijie Cheng, Kechen Fang, Yangyang Yu, Sicheng Zhou, Bohao Li, Ye Tian, Tingguang Li, Lei Han, Yang Liu

cs.AI

초록

최근 Multi-modal Large Language Models (MLLMs) 분야의 최신 기술 발전은 신체지능 인공지능 분야의 응용 프로그램에 새로운 가능성을 열었습니다. 이전 연구인 EgoThink을 기반으로, 우리는 VidEgoThink을 소개합니다. VidEgoThink은 자아 중심 비디오 이해 능력을 평가하기 위한 포괄적인 벤치마크입니다. MLLMs와 신체지능 인공지능의 저수준 제어 간의 간극을 좁히기 위해 우리는 비디오 질문-답변, 계층 계획, 시각적 기반 및 보상 모델링이라는 네 가지 핵심 상호 관련 작업을 설계했습니다. 수작업 주석 비용을 최소화하기 위해, 우리는 Ego4D 데이터셋을 기반으로 한 자동 데이터 생성 파이프라인을 개발했습니다. 이는 GPT-4o의 사전 지식과 다중 모달 능력을 활용합니다. 그런 다음 세 명의 인간 주석가가 생성된 데이터를 다양성과 품질을 보장하기 위해 걸러내어 VidEgoThink 벤치마크를 만들었습니다. 우리는 API 기반 MLLMs, 오픈 소스 이미지 기반 MLLMs, 그리고 오픈 소스 비디오 기반 MLLMs 세 가지 유형의 모델을 사용하여 광범위한 실험을 수행했습니다. 실험 결과는 GPT-4o를 포함한 모든 MLLMs가 자아 중심 비디오 이해와 관련된 모든 작업에서 성능이 저조하다는 것을 나타냅니다. 이러한 결과는 기본 모델이 신체지능 인공지능의 일인칭 시나리오에 효과적으로 적용되기 위해 상당한 발전이 필요하다는 것을 시사합니다. 결론적으로, VidEgoThink은 인간의 능력과 유사한 자아 중심 시각을 위해 MLLMs를 활용하는 연구 트렌드를 반영하며, 복잡한 현실 환경에서의 적극적인 관찰과 상호 작용을 가능하게 합니다.

English

Recent advancements in Multi-modal Large Language Models (MLLMs) have opened new avenues for applications in Embodied AI. Building on previous work, EgoThink, we introduce VidEgoThink, a comprehensive benchmark for evaluating egocentric video understanding capabilities. To bridge the gap between MLLMs and low-level control in Embodied AI, we design four key interrelated tasks: video question-answering, hierarchy planning, visual grounding and reward modeling. To minimize manual annotation costs, we develop an automatic data generation pipeline based on the Ego4D dataset, leveraging the prior knowledge and multimodal capabilities of GPT-4o. Three human annotators then filter the generated data to ensure diversity and quality, resulting in the VidEgoThink benchmark. We conduct extensive experiments with three types of models: API-based MLLMs, open-source image-based MLLMs, and open-source video-based MLLMs. Experimental results indicate that all MLLMs, including GPT-4o, perform poorly across all tasks related to egocentric video understanding. These findings suggest that foundation models still require significant advancements to be effectively applied to first-person scenarios in Embodied AI. In conclusion, VidEgoThink reflects a research trend towards employing MLLMs for egocentric vision, akin to human capabilities, enabling active observation and interaction in the complex real-world environments.