STMA: 장기적 임베디드 작업 계획을 위한 시공간 메모리 에이전트

STMA: A Spatio-Temporal Memory Agent for Long-Horizon Embodied Task Planning

February 14, 2025

저자: Mingcong Lei, Yiming Zhao, Ge Wang, Zhixin Mai, Shuguang Cui, Yatong Han, Jinke Ren

cs.AI

초록

구현된 지능(embodied intelligence)의 핵심 목표는 동적 환경에서 장기적 과제를 수행하면서도 견고한 의사결정과 적응성을 유지할 수 있는 에이전트를 만드는 것입니다. 이를 달성하기 위해 우리는 시공간적 메모리(Spatio-Temporal Memory)를 통합하여 과제 계획 및 실행을 강화하도록 설계된 새로운 프레임워크인 시공간 메모리 에이전트(STMA)를 제안합니다. STMA는 세 가지 핵심 구성 요소로 이루어져 있습니다: (1) 실시간으로 역사적 및 환경적 변화를 포착하는 시공간 메모리 모듈, (2) 적응적 공간 추론을 용이하게 하는 동적 지식 그래프, (3) 과제 전략을 반복적으로 개선하는 플래너-크리틱 메커니즘. 우리는 STMA를 TextWorld 환경에서 32개의 과제에 대해 평가하며, 다양한 복잡도 수준에서의 다단계 계획 및 탐색을 포함합니다. 실험 결과, STMA는 최신 모델 대비 성공률에서 31.25%의 향상과 평균 점수에서 24.7%의 증가를 달성함을 보여줍니다. 이러한 결과는 시공간적 메모리가 구현된 에이전트의 메모리 능력을 발전시키는 데 효과적임을 강조합니다.

English

A key objective of embodied intelligence is enabling agents to perform long-horizon tasks in dynamic environments while maintaining robust decision-making and adaptability. To achieve this goal, we propose the Spatio-Temporal Memory Agent (STMA), a novel framework designed to enhance task planning and execution by integrating spatio-temporal memory. STMA is built upon three critical components: (1) a spatio-temporal memory module that captures historical and environmental changes in real time, (2) a dynamic knowledge graph that facilitates adaptive spatial reasoning, and (3) a planner-critic mechanism that iteratively refines task strategies. We evaluate STMA in the TextWorld environment on 32 tasks, involving multi-step planning and exploration under varying levels of complexity. Experimental results demonstrate that STMA achieves a 31.25% improvement in success rate and a 24.7% increase in average score compared to the state-of-the-art model. The results highlight the effectiveness of spatio-temporal memory in advancing the memory capabilities of embodied agents.