Manipulation robotique précise et habile via l'apprentissage par renforcement avec intervention humaine.

Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

October 29, 2024

Auteurs: Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine

cs.AI

Résumé

L'apprentissage par renforcement (RL) offre de grandes promesses pour permettre l'acquisition autonome de compétences complexes en manipulation robotique, mais concrétiser ce potentiel dans des environnements réels a été un défi. Nous présentons un système RL basé sur la vision avec interaction humaine qui démontre des performances impressionnantes sur un ensemble diversifié de tâches de manipulation habile, incluant la manipulation dynamique, l'assemblage de précision et la coordination à deux bras. Notre approche intègre des démonstrations et des corrections humaines, des algorithmes RL efficaces, et d'autres choix de conception au niveau du système pour apprendre des politiques qui atteignent des taux de réussite presque parfaits et des temps de cycle rapides en seulement 1 à 2,5 heures d'entraînement. Nous montrons que notre méthode surpasse significativement les bases d'apprentissage par imitation et les approches RL antérieures, avec une amélioration moyenne de 2x du taux de réussite et une exécution 1,8x plus rapide. À travers des expériences approfondies et des analyses, nous fournissons des perspectives sur l'efficacité de notre approche, démontrant comment elle apprend des politiques robustes et adaptatives pour des stratégies de contrôle réactives et prédictives. Nos résultats suggèrent que le RL peut en effet apprendre une large gamme de politiques complexes de manipulation basées sur la vision directement dans le monde réel en des temps d'entraînement pratiques. Nous espérons que ce travail inspirera une nouvelle génération de techniques de manipulation robotique apprises, bénéficiant à la fois aux applications industrielles et aux avancées de la recherche. Des vidéos et du code sont disponibles sur notre site web de projet https://hil-serl.github.io/.

English

Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.