DexTrack: 인간 참조로부터 손재주 조작을 위한 일반화 가능한 신경 추적 제어를 향하여

DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References

February 13, 2025

저자: Xueyi Liu, Jianibieke Adalibieke, Qianwei Han, Yuzhe Qin, Li Yi

cs.AI

초록

우리는 인간 참조로부터 민첩한 조작을 위한 일반화된 신경 추적 컨트롤러를 개발하는 도전에 대해 다룹니다. 이 컨트롤러는 민첩한 로봇 손을 관리하여 키네마틱 인간-물체 상호작용에 의해 정의된 다양한 목적을 위해 다양한 물체를 조작하는 것을 목표로 합니다. 이러한 컨트롤러를 개발하는 것은 민첩한 조작의 복잡한 접촉 역학과 적응성, 일반화 및 견고성의 필요로 어렵습니다. 현재의 강화 학습 및 궤적 최적화 방법은 종종 작업 특정 보상이나 정확한 시스템 모델에 의존하기 때문에 한계가 있습니다. 우리는 대규모로 성공한 로봇 추적 데모를 선별하여 인간 참조와 로봇 액션의 쌍으로 구성된 데이터를 사용하여 신경 컨트롤러를 훈련하는 방법을 소개합니다. 데이터 플라이휠을 활용하여 컨트롤러의 성능과 성공적인 추적 데모의 수와 품질을 반복적으로 향상시킵니다. 우리는 사용 가능한 추적 데모를 활용하고 강화 학습과 모방 학습을 신중하게 통합하여 동적 환경에서 컨트롤러의 성능을 향상시킵니다. 동시에 고품질 추적 데모를 얻기 위해 학습된 추적 컨트롤러를 활용하여 각 궤적 추적을 개별적으로 최적화하는 호모토피 최적화 방법을 활용합니다. 사고 연쇄를 모방하는 호모토피 최적화는 어려운 궤적 추적 문제를 해결하여 데모 다양성을 증가시키는 데 도움이 됩니다. 우리는 일반화된 신경 컨트롤러를 훈련하고 시뮬레이션과 실제 세계에서 그 성능을 평가하여 성공을 증명합니다. 우리의 방법은 선두 기준에 비해 성공률이 10% 이상 향상되었습니다. 애니메이션 결과가 포함된 프로젝트 웹사이트는 https://meowuu7.github.io/DexTrack/에서 확인할 수 있습니다.

English

We address the challenge of developing a generalizable neural tracking controller for dexterous manipulation from human references. This controller aims to manage a dexterous robot hand to manipulate diverse objects for various purposes defined by kinematic human-object interactions. Developing such a controller is complicated by the intricate contact dynamics of dexterous manipulation and the need for adaptivity, generalizability, and robustness. Current reinforcement learning and trajectory optimization methods often fall short due to their dependence on task-specific rewards or precise system models. We introduce an approach that curates large-scale successful robot tracking demonstrations, comprising pairs of human references and robot actions, to train a neural controller. Utilizing a data flywheel, we iteratively enhance the controller's performance, as well as the number and quality of successful tracking demonstrations. We exploit available tracking demonstrations and carefully integrate reinforcement learning and imitation learning to boost the controller's performance in dynamic environments. At the same time, to obtain high-quality tracking demonstrations, we individually optimize per-trajectory tracking by leveraging the learned tracking controller in a homotopy optimization method. The homotopy optimization, mimicking chain-of-thought, aids in solving challenging trajectory tracking problems to increase demonstration diversity. We showcase our success by training a generalizable neural controller and evaluating it in both simulation and real world. Our method achieves over a 10% improvement in success rates compared to leading baselines. The project website with animated results is available at https://meowuu7.github.io/DexTrack/.