폐쇄 루프 장기 계획을 통한 로봇 계획 Equilibrium Sequence 모델링

Closed-loop Long-horizon Robotic Planning via Equilibrium Sequence Modeling

October 2, 2024

저자: Jinghan Li, Zhicheng Sun, Fei Li, Cao Sheng, Jiazhong Yu, Yadong Mu

cs.AI

초록

자율 로봇이 행동을 취하도록 하는 노력에서 작업 계획은 고수준 작업 설명을 장기적인 행동 순서로 변환하는 것을 요구하는 주요 도전 과제입니다. 최근 언어 모델 에이전트의 발전에도 불구하고, 그들은 계획 오류에 취약하며 앞선 계획 능력이 제한되어 있습니다. 로봇 계획의 이러한 한계를 해결하기 위해 우리는 초안 계획을 균형점에 이를 때까지 반복적으로 개선하는 자기 세정 체계를 주장합니다. 놀랍게도, 이 과정은 분석적 관점에서 최적화될 수 있으며 추가 검증자나 보상 모델을 선별할 필요 없이 자기 세정 계획자를 간단한 지도 학습 방식으로 훈련할 수 있게 합니다. 한편, 효율적인 폐쇄 루프 계획을 위해 유용한 환경 피드백(또는 내부 세계 모델)을 통합하는 중첩 균형점 순서 모델링 절차가 고안되었습니다. 우리의 방법은 VirtualHome-Env 벤치마크에서 평가되었으며 추론 계산에 대한 더 나은 확장성을 갖는 성능을 보여줍니다. 코드는 https://github.com/Singularity0104/equilibrium-planner에서 확인할 수 있습니다.

English

In the endeavor to make autonomous robots take actions, task planning is a major challenge that requires translating high-level task descriptions into long-horizon action sequences. Despite recent advances in language model agents, they remain prone to planning errors and limited in their ability to plan ahead. To address these limitations in robotic planning, we advocate a self-refining scheme that iteratively refines a draft plan until an equilibrium is reached. Remarkably, this process can be optimized end-to-end from an analytical perspective without the need to curate additional verifiers or reward models, allowing us to train self-refining planners in a simple supervised learning fashion. Meanwhile, a nested equilibrium sequence modeling procedure is devised for efficient closed-loop planning that incorporates useful feedback from the environment (or an internal world model). Our method is evaluated on the VirtualHome-Env benchmark, showing advanced performance with better scaling for inference computation. Code is available at https://github.com/Singularity0104/equilibrium-planner.