Präzise und geschickte robotergestützte Manipulation durch menschliches Eingreifen im verstärkenden Lernen.

Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

October 29, 2024

Autoren: Jianlan Luo, Charles Xu, Jeffrey Wu, Sergey Levine

cs.AI

Zusammenfassung

Das Reinforcement Learning (RL) birgt großes Potenzial für die autonome Erlangung komplexer robotischer Manipulationsfähigkeiten, jedoch gestaltet sich die Umsetzung dieses Potenzials in realen Umgebungen als herausfordernd. Wir präsentieren ein RL-System mit menschlicher Beteiligung, das auf visionärer Basis beeindruckende Leistungen bei einer Vielzahl von geschickten Manipulationsaufgaben zeigt, darunter dynamische Manipulation, präzise Montage und Koordination mit beiden Armen. Unser Ansatz integriert Demonstrationen und menschliche Korrekturen, effiziente RL-Algorithmen und andere systematische Designentscheidungen, um Richtlinien zu erlernen, die nahezu perfekte Erfolgsraten und schnelle Zykluszeiten nach nur 1 bis 2,5 Stunden Training erreichen. Wir zeigen, dass unsere Methode im Vergleich zu Imitationslern-Baselines und früheren RL-Ansätzen signifikant bessere Leistungen erbringt, mit durchschnittlich einer 2-fachen Verbesserung der Erfolgsrate und einer 1,8-fachen schnelleren Ausführung. Durch umfangreiche Experimente und Analysen geben wir Einblicke in die Wirksamkeit unseres Ansatzes und zeigen, wie er robuste, anpassungsfähige Richtlinien für reaktive und vorausschauende Steuerungsstrategien erlernt. Unsere Ergebnisse legen nahe, dass RL tatsächlich eine Vielzahl komplexer, visionärer Manipulationsrichtlinien innerhalb praktikabler Trainingszeiten direkt in der realen Welt erlernen kann. Wir hoffen, dass diese Arbeit eine neue Generation erlernter robotischer Manipulationstechniken inspirieren wird, die sowohl industrielle Anwendungen als auch Forschungsfortschritte unterstützen. Videos und Code sind auf unserer Projektwebsite verfügbar: https://hil-serl.github.io/.

English

Reinforcement learning (RL) holds great promise for enabling autonomous acquisition of complex robotic manipulation skills, but realizing this potential in real-world settings has been challenging. We present a human-in-the-loop vision-based RL system that demonstrates impressive performance on a diverse set of dexterous manipulation tasks, including dynamic manipulation, precision assembly, and dual-arm coordination. Our approach integrates demonstrations and human corrections, efficient RL algorithms, and other system-level design choices to learn policies that achieve near-perfect success rates and fast cycle times within just 1 to 2.5 hours of training. We show that our method significantly outperforms imitation learning baselines and prior RL approaches, with an average 2x improvement in success rate and 1.8x faster execution. Through extensive experiments and analysis, we provide insights into the effectiveness of our approach, demonstrating how it learns robust, adaptive policies for both reactive and predictive control strategies. Our results suggest that RL can indeed learn a wide range of complex vision-based manipulation policies directly in the real world within practical training times. We hope this work will inspire a new generation of learned robotic manipulation techniques, benefiting both industrial applications and research advancements. Videos and code are available at our project website https://hil-serl.github.io/.