Massimizzare l'allineamento con un feedback minimo: Apprendimento efficiente delle ricompense per l'allineamento delle politiche robot visuomotorie.

Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment

December 6, 2024

Autori: Ran Tian, Yilin Wu, Chenfeng Xu, Masayoshi Tomizuka, Jitendra Malik, Andrea Bajcsy

cs.AI

Abstract

Le politiche dei robot visuomotori, sempre più pre-addestrate su dataset di grandi dimensioni, promettono significativi progressi in vari ambiti della robotica. Tuttavia, allineare tali politiche con le preferenze degli utenti finali rimane una sfida, specialmente quando le preferenze sono difficili da specificare. Mentre il reinforcement learning basato sul feedback umano (RLHF) è diventato il meccanismo predominante per l'allineamento in domini non incorporati come i grandi modelli linguistici, non ha ottenuto lo stesso successo nell'allineare le politiche visuomotorie a causa della quantità proibitiva di feedback umano necessaria per imparare le funzioni di ricompensa visiva. Per affrontare questa limitazione, proponiamo il Learning basato su Preferenze Allineate alla Rappresentazione (RAPL), un metodo basato solo sull'osservazione per imparare ricompense visive da un feedback umano significativamente inferiore. A differenza del tradizionale RLHF, RAPL concentra il feedback umano sul raffinamento degli encoder di visione pre-addestrati per allinearli con la rappresentazione visiva dell'utente finale e quindi costruisce una ricompensa visiva densa tramite il matching delle caratteristiche in questo spazio di rappresentazione allineato. Validiamo inizialmente RAPL attraverso esperimenti di simulazione nel benchmark X-Magical e nella manipolazione robotica di Franka Panda, dimostrando che può imparare ricompense allineate con le preferenze umane, utilizza in modo più efficiente i dati di preferenza e generalizza tra le incarnazioni del robot. Infine, i nostri esperimenti hardware allineano le Politiche di Diffusione pre-addestrate per tre compiti di manipolazione degli oggetti. Scopriamo che RAPL può raffinare queste politiche con un 5x meno dati reali di preferenza umana, compiendo il primo passo verso la minimizzazione del feedback umano e il massimo allineamento delle politiche dei robot visuomotori.

English

Visuomotor robot policies, increasingly pre-trained on large-scale datasets, promise significant advancements across robotics domains. However, aligning these policies with end-user preferences remains a challenge, particularly when the preferences are hard to specify. While reinforcement learning from human feedback (RLHF) has become the predominant mechanism for alignment in non-embodied domains like large language models, it has not seen the same success in aligning visuomotor policies due to the prohibitive amount of human feedback required to learn visual reward functions. To address this limitation, we propose Representation-Aligned Preference-based Learning (RAPL), an observation-only method for learning visual rewards from significantly less human preference feedback. Unlike traditional RLHF, RAPL focuses human feedback on fine-tuning pre-trained vision encoders to align with the end-user's visual representation and then constructs a dense visual reward via feature matching in this aligned representation space. We first validate RAPL through simulation experiments in the X-Magical benchmark and Franka Panda robotic manipulation, demonstrating that it can learn rewards aligned with human preferences, more efficiently uses preference data, and generalizes across robot embodiments. Finally, our hardware experiments align pre-trained Diffusion Policies for three object manipulation tasks. We find that RAPL can fine-tune these policies with 5x less real human preference data, taking the first step towards minimizing human feedback while maximizing visuomotor robot policy alignment.