Manipulación humanoide generalizable con políticas de difusión 3D mejoradas.

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

October 14, 2024

Autores: Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu

cs.AI

Resumen

Los robots humanoides capaces de operar de forma autónoma en diversos entornos han sido desde hace mucho tiempo un objetivo para los expertos en robótica. Sin embargo, la manipulación autónoma por parte de robots humanoides ha estado mayormente restringida a una escena específica, principalmente debido a la dificultad de adquirir habilidades generalizables. Avances recientes en políticas visuomotoras 3D, como la Política de Difusión 3D (DP3), han mostrado promesa en la extensión de estas capacidades a entornos más salvajes. Sin embargo, las políticas visuomotoras 3D a menudo dependen de la calibración de la cámara y la segmentación de nubes de puntos, lo cual presenta desafíos para su implementación en robots móviles como los humanoides. En este trabajo, presentamos la Política de Difusión 3D Mejorada (iDP3), una nueva política visuomotor 3D que elimina estas restricciones al aprovechar representaciones visuales 3D egocéntricas. Demostramos que iDP3 permite que un robot humanoide de tamaño completo realice de forma autónoma habilidades en diversos escenarios del mundo real, utilizando solo datos recopilados en el laboratorio. Los videos están disponibles en: https://humanoid-manipulation.github.io

English

Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills. Recent advances in 3D visuomotor policies, such as the 3D Diffusion Policy (DP3), have shown promise in extending these capabilities to wilder environments. However, 3D visuomotor policies often rely on camera calibration and point-cloud segmentation, which present challenges for deployment on mobile robots like humanoids. In this work, we introduce the Improved 3D Diffusion Policy (iDP3), a novel 3D visuomotor policy that eliminates these constraints by leveraging egocentric 3D visual representations. We demonstrate that iDP3 enables a full-sized humanoid robot to autonomously perform skills in diverse real-world scenarios, using only data collected in the lab. Videos are available at: https://humanoid-manipulation.github.io