Manipolazione robotica precisa e agile tramite apprendimento per rinforzo con coinvolgimento umano.

Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

October 29, 2024
Autori: Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine
cs.AI

Abstract

Il Reinforcement Learning (RL) offre grandi promesse per consentire l'acquisizione autonoma di abilità complesse di manipolazione robotica, ma realizzare questo potenziale in contesti reali è stato impegnativo. Presentiamo un sistema di RL basato sulla visione con interazione umana che dimostra un'ottima performance su un insieme diversificato di compiti di manipolazione abile, inclusa la manipolazione dinamica, l'assemblaggio di precisione e la coordinazione a due braccia. Il nostro approccio integra dimostrazioni e correzioni umane, algoritmi di RL efficienti e altre scelte di progettazione a livello di sistema per apprendere politiche che raggiungono tassi di successo quasi perfetti e tempi di ciclo rapidi in soli 1-2,5 ore di addestramento. Mostreremo che il nostro metodo supera significativamente le basi di apprendimento per imitazione e gli approcci di RL precedenti, con un miglioramento medio del 2x nel tasso di successo e un'esecuzione 1,8x più veloce. Attraverso ampi esperimenti e analisi, forniremo approfondimenti sull'efficacia del nostro approccio, dimostrando come apprende politiche robuste e adattive per strategie di controllo reattive e predictive. I nostri risultati suggeriscono che il RL può effettivamente apprendere una vasta gamma di politiche di manipolazione basate sulla visione direttamente nel mondo reale entro tempi di addestramento pratici. Speriamo che questo lavoro possa ispirare una nuova generazione di tecniche di manipolazione robotica apprese, beneficiando sia le applicazioni industriali che i progressi nella ricerca. I video e il codice sono disponibili sul nostro sito web del progetto https://hil-serl.github.io/.
English
Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.

Summary

AI-Generated Summary

PDF132November 16, 2024