Симуляционно-реальное обучение с подкреплением для зрительно управляемой точной манипуляции на гуманоидных роботах

Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids

February 27, 2025

Авторы: Toru Lin, Kartik Sachdev, Linxi Fan, Jitendra Malik, Yuke Zhu

cs.AI

Аннотация

Обучение с подкреплением демонстрирует впечатляющие результаты в достижении человеческого или даже сверхчеловеческого уровня в различных проблемных областях, однако успехи в области точного манипулирования роботами остаются ограниченными. В данной работе исследуются ключевые проблемы применения обучения с подкреплением для решения набора задач по манипулированию с интенсивным контактом на антропоморфном роботе. Мы представляем новые методы для преодоления выявленных проблем с эмпирической проверкой. Наши основные вклады включают автоматизированный модуль настройки "реальность-симуляция", который приближает симулированную среду к реальному миру, обобщенную схему проектирования вознаграждений, упрощающую разработку вознаграждений для задач манипулирования с длительным горизонтом и интенсивным контактом, процесс разделения и объединения, повышающий эффективность использования данных для сложных задач исследования при сохранении производительности в условиях "симуляция-реальность", а также смесь разреженных и плотных представлений объектов для преодоления разрыва в восприятии между симуляцией и реальностью. Мы демонстрируем перспективные результаты на трех задачах точного манипулирования антропоморфным роботом, включая исследования по каждому из предложенных методов. Наша работа представляет успешный подход к обучению точному манипулированию антропоморфным роботом с использованием обучения с подкреплением в условиях "симуляция-реальность", достигая устойчивого обобщения и высокой производительности без необходимости демонстраций человеком.

English

Reinforcement learning has delivered promising results in achieving human- or even superhuman-level capabilities across diverse problem domains, but success in dexterous robot manipulation remains limited. This work investigates the key challenges in applying reinforcement learning to solve a collection of contact-rich manipulation tasks on a humanoid embodiment. We introduce novel techniques to overcome the identified challenges with empirical validation. Our main contributions include an automated real-to-sim tuning module that brings the simulated environment closer to the real world, a generalized reward design scheme that simplifies reward engineering for long-horizon contact-rich manipulation tasks, a divide-and-conquer distillation process that improves the sample efficiency of hard-exploration problems while maintaining sim-to-real performance, and a mixture of sparse and dense object representations to bridge the sim-to-real perception gap. We show promising results on three humanoid dexterous manipulation tasks, with ablation studies on each technique. Our work presents a successful approach to learning humanoid dexterous manipulation using sim-to-real reinforcement learning, achieving robust generalization and high performance without the need for human demonstration.