RACER: 풍부한 언어 안내 실패 복구 정책을 위한 모방 학습

RACER: Rich Language-Guided Failure Recovery Policies for Imitation Learning

September 23, 2024

저자: Yinpei Dai, Jayjun Lee, Nima Fazeli, Joyce Chai

cs.AI

초록

로봇 조작을 위한 견고하고 수정 가능한 시각 운동 정책을 개발하는 것은 실패로부터의 자가 복구 메커니즘 부족과 간단한 언어 지침의 로봇 조작 안내 한계로 인해 어려운 과제입니다. 이러한 문제를 해결하기 위해 전문가 데모를 자동으로 보강하는 확장 가능한 데이터 생성 파이프라인을 제안합니다. 이 파이프라인은 실패 복구 궤적과 세밀한 언어 주석을 훈련하기 위해 자동으로 추가합니다. 그런 다음 실패 복구 데이터를 풍부한 언어 설명과 결합하는 감독자-배우 프레임워크인 RACER을 소개합니다. RACER은 오류 수정과 작업 실행을 향상시키기 위해 상세한 언어 지침을 제공하는 온라인 감독자 역할을 하는 비전-언어 모델(VLM)과 다음 동작을 예측하는 배우 역할로 언어 조건화된 시각 운동 정책을 특징으로 합니다. 실험 결과는 RACER이 RLbench에서 표준 장기 과제, 동적 목표 변경 과제 및 제로샷 미처 보지 못한 과제를 포함한 다양한 평가 설정에서 최첨단 로봇 뷰 변환기(RVT)를 능가하며, 시뮬레이션 및 실제 환경에서 우수한 성능을 달성했음을 보여줍니다. 비디오 및 코드는 다음 링크에서 확인할 수 있습니다: https://rich-language-failure-recovery.github.io.

English

Developing robust and correctable visuomotor policies for robotic manipulation is challenging due to the lack of self-recovery mechanisms from failures and the limitations of simple language instructions in guiding robot actions. To address these issues, we propose a scalable data generation pipeline that automatically augments expert demonstrations with failure recovery trajectories and fine-grained language annotations for training. We then introduce Rich languAge-guided failure reCovERy (RACER), a supervisor-actor framework, which combines failure recovery data with rich language descriptions to enhance robot control. RACER features a vision-language model (VLM) that acts as an online supervisor, providing detailed language guidance for error correction and task execution, and a language-conditioned visuomotor policy as an actor to predict the next actions. Our experimental results show that RACER outperforms the state-of-the-art Robotic View Transformer (RVT) on RLbench across various evaluation settings, including standard long-horizon tasks, dynamic goal-change tasks and zero-shot unseen tasks, achieving superior performance in both simulated and real world environments. Videos and code are available at: https://rich-language-failure-recovery.github.io.