현실 세계의 인간형 로봇을 위한 일어서기 정책 학습

Learning Getting-Up Policies for Real-World Humanoid Robots

February 17, 2025

저자: Xialin He, Runpei Dong, Zixuan Chen, Saurabh Gupta

cs.AI

초록

자동 추락 복구는 인간형 로봇이 신뢰성 있게 배치되기 전에 중요한 선행 조건입니다. 일어서는 컨트롤러를 수동으로 설계하는 것은 어려운데, 이는 인간형 로봇이 추락 후 다양한 구성으로 끝날 수 있고, 인간형 로봇이 운영되기를 기대하는 도전적인 지형 때문입니다. 본 논문은 학습 프레임워크를 개발하여 인간형 로봇이 다양한 지형에서 다양한 구성에서 일어서도록 하는 컨트롤러를 생성합니다. 이전의 인간형 이동 학습의 성공적인 응용과 달리 일어서는 작업은 복잡한 접촉 패턴을 포함하며, 이는 충돌 지오메트리를 정확하게 모델링하고 보다 희소한 보상이 필요합니다. 이러한 도전에 대해 교육 과정을 따르는 두 단계 접근법을 통해 이를 해결합니다. 첫 번째 단계는 부드러움이나 속도/토크 제한에 대한 최소 제약 조건 하에 좋은 일어서는 궤적을 발견하는 데 초점을 맞춥니다. 그런 다음 두 번째 단계에서는 초기 구성과 지형의 변화에 견고한 (즉, 부드럽고 느린) 동작으로 발전된 동작을 개발합니다. 이러한 혁신들이 실제 세계의 G1 인간형 로봇이 우리가 고려한 두 가지 주요 상황에서 일어서도록 하는 것을 가능하게 합니다: a) 누워 얼굴을 위로 하고 b) 누워 얼굴을 아래로 하는 상황이며, 모두 평평하고 변형 가능하며 미끄러운 표면 및 경사 (예: 경사진 풀과 눈밭)에서 테스트되었습니다. 우리의 지식으로는 이것이 실제 세계에서 인간 크기의 인간형 로봇을 위한 학습된 일어서는 정책의 첫 성공적인 시연입니다. 프로젝트 페이지: https://humanoid-getup.github.io/

English

Automatic fall recovery is a crucial prerequisite before humanoid robots can be reliably deployed. Hand-designing controllers for getting up is difficult because of the varied configurations a humanoid can end up in after a fall and the challenging terrains humanoid robots are expected to operate on. This paper develops a learning framework to produce controllers that enable humanoid robots to get up from varying configurations on varying terrains. Unlike previous successful applications of humanoid locomotion learning, the getting-up task involves complex contact patterns, which necessitates accurately modeling the collision geometry and sparser rewards. We address these challenges through a two-phase approach that follows a curriculum. The first stage focuses on discovering a good getting-up trajectory under minimal constraints on smoothness or speed / torque limits. The second stage then refines the discovered motions into deployable (i.e. smooth and slow) motions that are robust to variations in initial configuration and terrains. We find these innovations enable a real-world G1 humanoid robot to get up from two main situations that we considered: a) lying face up and b) lying face down, both tested on flat, deformable, slippery surfaces and slopes (e.g., sloppy grass and snowfield). To the best of our knowledge, this is the first successful demonstration of learned getting-up policies for human-sized humanoid robots in the real world. Project page: https://humanoid-getup.github.io/