ManipTrans: Trasferimento Efficiente della Manipolazione Bimanuale Abile tramite Apprendimento Residuo

ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

March 27, 2025

Autori: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, Siyuan Huang

cs.AI

Abstract

Le mani umane svolgono un ruolo centrale nell'interazione, motivando una crescente ricerca nella manipolazione robotica abile. Gli algoritmi di intelligenza artificiale incarnata basati sui dati richiedono sequenze di manipolazione precise, su larga scala e simili a quelle umane, difficili da ottenere con l'apprendimento per rinforzo convenzionale o la teleoperazione nel mondo reale. Per affrontare questa sfida, introduciamo ManipTrans, un metodo innovativo a due stadi per trasferire efficacemente le abilità bimanuali umane a mani robotiche abili in simulazione. ManipTrans pre-allena prima un imitatore di traiettorie generalista per imitare il movimento della mano, poi perfeziona un modulo residuo specifico sotto vincoli di interazione, consentendo un apprendimento efficiente e un'esecuzione accurata di compiti bimanuali complessi. Gli esperimenti dimostrano che ManipTrans supera i metodi all'avanguardia in termini di tasso di successo, fedeltà ed efficienza. Sfruttando ManipTrans, trasferiamo più dataset mano-oggetto a mani robotiche, creando DexManipNet, un dataset su larga scala che include compiti inesplorati come l'inserimento del tappo di una penna e l'apertura di una bottiglia. DexManipNet comprende 3.3K episodi di manipolazione robotica ed è facilmente estendibile, facilitando ulteriori addestramenti di politiche per mani abili e consentendo implementazioni nel mondo reale.

English

Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.