Magma: 멀티모달 AI 에이전트를 위한 기초 모델

Magma: A Foundation Model for Multimodal AI Agents

February 18, 2025

저자: Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, Yuquan Deng, Lars Liden, Jianfeng Gao

cs.AI

초록

우리는 디지털과 물리적 세계 모두에서 멀티모달 AI 에이전트 작업을 수행하는 기초 모델인 Magma를 소개한다. Magma는 비전-언어(VL) 모델의 상당한 확장판으로, 후자의 VL 이해 능력(언어적 지능)을 유지할 뿐만 아니라 시각-공간 세계에서 계획하고 행동할 수 있는 능력(공간-시간적 지능)을 갖추고 있으며, UI 탐색부터 로봇 조작에 이르는 다양한 에이전트 작업을 완수할 수 있다. 이러한 에이전트 능력을 부여하기 위해 Magma는 이미지, 비디오부터 로봇 공학 데이터에 이르는 방대한 이질적 데이터셋에 대해 사전 학습되었으며, 이미지 내에서 실행 가능한 시각적 객체(예: GUI 내 클릭 가능한 버튼)는 행동 근거를 위해 Set-of-Mark(SoM)로 레이블링되고, 비디오 내 객체의 움직임(예: 인간의 손이나 로봇 팔의 궤적)은 행동 계획을 위해 Trace-of-Mark(ToM)로 레이블링된다. 광범위한 실험을 통해 SoM과 ToM이 큰 시너지를 이루며 Magma 모델의 공간-시간적 지능 습득을 촉진함을 보여주었으며, 이는 그림 1에서 보여주는 바와 같이 다양한 작업에 필수적이다. 특히 Magma는 UI 탐색 및 로봇 조작 작업에서 이전에 특화된 모델들을 능가하는 새로운 최첨단 결과를 창출한다. 이미지 및 비디오 관련 멀티모달 작업에서도 Magma는 훨씬 더 큰 데이터셋으로 학습된 인기 있는 대형 멀티모달 모델들과 비교해 우수한 성능을 보인다. 우리는 재현성을 위해 모델과 코드를 https://microsoft.github.io/Magma에서 공개한다.

English

We present Magma, a foundation model that serves multimodal AI agentic tasks in both the digital and physical worlds. Magma is a significant extension of vision-language (VL) models in that it not only retains the VL understanding ability (verbal intelligence) of the latter, but is also equipped with the ability to plan and act in the visual-spatial world (spatial-temporal intelligence) and complete agentic tasks ranging from UI navigation to robot manipulation. To endow the agentic capabilities, Magma is pretrained on large amounts of heterogeneous datasets spanning from images, videos to robotics data, where the actionable visual objects (e.g., clickable buttons in GUI) in images are labeled by Set-of-Mark (SoM) for action grounding, and the object movements (e.g., the trace of human hands or robotic arms) in videos are labeled by Trace-of-Mark (ToM) for action planning. Extensive experiments show that SoM and ToM reach great synergy and facilitate the acquisition of spatial-temporal intelligence for our Magma model, which is fundamental to a wide range of tasks as shown in Fig.1. In particular, Magma creates new state-of-the-art results on UI navigation and robotic manipulation tasks, outperforming previous models that are specifically tailored to these tasks. On image and video-related multimodal tasks, Magma also compares favorably to popular large multimodal models that are trained on much larger datasets. We make our model and code public for reproducibility at https://microsoft.github.io/Magma.