Nauwkeurige en behendige robotmanipulatie via versterkend leren met menselijke input.

Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

October 29, 2024

Auteurs: Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine

cs.AI

Samenvatting

Reinforcement learning (RL) belooft veel voor het mogelijk maken van autonome verwerving van complexe robotmanipulatievaardigheden, maar het realiseren van dit potentieel in echte omgevingen is uitdagend gebleken. We presenteren een RL-systeem op basis van visie met menselijke input dat indrukwekkende prestaties laat zien op een divers scala van behendige manipulatietaken, waaronder dynamische manipulatie, precisie-assemblage en coördinatie van twee armen. Onze aanpak integreert demonstraties en menselijke correcties, efficiënte RL-algoritmen en andere ontwerpkeuzes op systeemniveau om beleidsregels te leren die bijna perfecte succespercentages en snelle cyclustijden behalen met slechts 1 tot 2,5 uur training. We tonen aan dat onze methode aanzienlijk beter presteert dan imitatieleren baselines en eerdere RL-benaderingen, met een gemiddelde verbetering van 2x in succespercentage en 1,8x snellere uitvoering. Via uitgebreide experimenten en analyse bieden we inzichten in de effectiviteit van onze aanpak, waarbij we aantonen hoe het robuuste, aanpasbare beleidsregels leert voor zowel reactieve als voorspellende besturingsstrategieën. Onze resultaten suggereren dat RL inderdaad een breed scala aan complexe op visie gebaseerde manipulatiebeleidsregels kan leren direct in de echte wereld binnen praktische trainingsperioden. We hopen dat dit werk een nieuwe generatie van geleerde robotmanipulatietechnieken zal inspireren, ten goede komend aan zowel industriële toepassingen als onderzoeksontwikkelingen. Video's en code zijn beschikbaar op onze projectwebsite https://hil-serl.github.io/.

English

Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.