개선된 3D 확산 정책을 활용한 일반화 가능한 인간형 조작

초록

다양한 환경에서 자율 작동이 가능한 인간 형 로봇은 오랫동안 로봋 연구자들의 목표였다. 그러나 인간 형 로봇에 의한 자율 조작은 주로 일부 특정 장면에 제한되어 왔으며, 이는 일반화 가능한 기술 습득의 어려움 때문이다. 최근의 3D 시각 운동 정책, 예를 들어 3D 확산 정책(DP3)은 이러한 능력을 더욱 광범위한 환경으로 확장하는 데 유망함을 입증했다. 그러나 3D 시각 운동 정책은 종종 카메라 보정 및 포인트 클라우드 분할에 의존하는데, 이는 인간 형 로봇과 같은 이동 로봇에 배치하는 데 어려움을 겪게 한다. 본 연구에서는 이러한 제약을 제거하기 위해 에고센트릭 3D 시각 표현을 활용하는 혁신적인 3D 시각 운동 정책인 개선된 3D 확산 정책(iDP3)을 소개한다. 우리는 iDP3이 전체 사이즈의 인간 형 로봇이 실험실에서 수집한 데이터만을 사용하여 다양한 실제 세계 시나리오에서 자율적으로 기술을 수행할 수 있게 한다는 것을 증명한다. 비디오는 다음 링크에서 확인할 수 있다: https://humanoid-manipulation.github.io

English

Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills. Recent advances in 3D visuomotor policies, such as the 3D Diffusion Policy (DP3), have shown promise in extending these capabilities to wilder environments. However, 3D visuomotor policies often rely on camera calibration and point-cloud segmentation, which present challenges for deployment on mobile robots like humanoids. In this work, we introduce the Improved 3D Diffusion Policy (iDP3), a novel 3D visuomotor policy that eliminates these constraints by leveraging egocentric 3D visual representations. We demonstrate that iDP3 enables a full-sized humanoid robot to autonomously perform skills in diverse real-world scenarios, using only data collected in the lab. Videos are available at: https://humanoid-manipulation.github.io

개선된 3D 확산 정책을 활용한 일반화 가능한 인간형 조작

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

초록

Summary

Support