RobustDexGrasp: Presa Robusta e Abile di Oggetti Generici tramite Percezione a Singola Vista

RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception

April 7, 2025

Autori: Hui Zhang, Zijian Wu, Linyi Huang, Sammy Christen, Jie Song

cs.AI

Abstract

La presa robusta di vari oggetti basata su percezione a vista singola è fondamentale per robot destri. I lavori precedenti spesso si basano su oggetti completamente osservabili, dimostrazioni di esperti o pose di presa statiche, il che limita la loro capacità di generalizzazione e adattabilità ai disturbi esterni. In questo articolo, presentiamo un framework basato sull'apprendimento per rinforzo che consente la presa dinamica destra di un'ampia gamma di oggetti non visti in precedenza, basandosi su percezione a vista singola, eseguendo al contempo movimenti adattativi ai disturbi esterni. Utilizziamo una rappresentazione centrata sulla mano per l'estrazione delle caratteristiche di forma che enfatizza le forme locali rilevanti per l'interazione, migliorando la robustezza alla variazione e all'incertezza delle forme. Per consentire un efficace adattamento della mano ai disturbi con osservazioni limitate, proponiamo una strategia mista di apprendimento curriculare, che utilizza inizialmente l'apprendimento per imitazione per distillare una policy addestrata con feedback visivo-tattile in tempo reale privilegiato, e trasferisce gradualmente all'apprendimento per rinforzo per apprendere movimenti adattativi sotto disturbi causati da rumori di osservazione e randomizzazione dinamica. I nostri esperimenti dimostrano una forte generalizzazione nella presa di oggetti non visti con pose casuali, raggiungendo tassi di successo del 97,0% su 247.786 oggetti simulati e del 94,6% su 512 oggetti reali. Dimostriamo inoltre la robustezza del nostro metodo a vari disturbi, inclusi movimenti non osservati degli oggetti e forze esterne, attraverso valutazioni sia quantitative che qualitative. Pagina del progetto: https://zdchan.github.io/Robust_DexGrasp/

English

Robust grasping of various objects from single-view perception is fundamental for dexterous robots. Previous works often rely on fully observable objects, expert demonstrations, or static grasping poses, which restrict their generalization ability and adaptability to external disturbances. In this paper, we present a reinforcement-learning-based framework that enables zero-shot dynamic dexterous grasping of a wide range of unseen objects from single-view perception, while performing adaptive motions to external disturbances. We utilize a hand-centric object representation for shape feature extraction that emphasizes interaction-relevant local shapes, enhancing robustness to shape variance and uncertainty. To enable effective hand adaptation to disturbances with limited observations, we propose a mixed curriculum learning strategy, which first utilizes imitation learning to distill a policy trained with privileged real-time visual-tactile feedback, and gradually transfers to reinforcement learning to learn adaptive motions under disturbances caused by observation noises and dynamic randomization. Our experiments demonstrate strong generalization in grasping unseen objects with random poses, achieving success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects. We also demonstrate the robustness of our method to various disturbances, including unobserved object movement and external forces, through both quantitative and qualitative evaluations. Project Page: https://zdchan.github.io/Robust_DexGrasp/