Orienter vos généralistes : Amélioration des modèles fondamentaux de robots via l'orientation de la valeur

Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance

October 17, 2024

Auteurs: Mitsuhiko Nakamoto, Oier Mees, Aviral Kumar, Sergey Levine

cs.AI

Résumé

Les politiques robotiques générales à usage étendu, formées sur des ensembles de démonstrations divers, se sont révélées remarquablement efficaces à la fois pour contrôler divers robots dans une variété de scènes différentes et pour acquérir de vastes répertoires de compétences en manipulation. Cependant, les données sur lesquelles ces politiques sont formées sont généralement de qualité mixte - non seulement les démonstrations collectées par des humains sont peu susceptibles d'exécuter parfaitement la tâche, mais plus l'ensemble de données est grand, plus il est difficile de ne conserver que les exemples de la plus haute qualité. Il reste également incertain dans quelle mesure les données optimales d'une incarnation sont adaptées à la formation sur une autre incarnation. Dans cet article, nous présentons une approche générale et largement applicable qui améliore les performances de telles politiques robotiques généralistes au moment du déploiement en reclassant leurs actions selon une fonction de valeur apprise via l'apprentissage par renforcement hors ligne. Cette approche, que nous appelons Pilotage de Politique Guidé par la Valeur (V-GPS), est compatible avec un large éventail de politiques généralistes différentes, sans avoir besoin d'être affinée ou même d'accéder aux poids de la politique. Nous montrons que la même fonction de valeur peut améliorer les performances de cinq politiques de pointe différentes avec des architectures différentes, même si elles ont été formées sur des ensembles de données distincts, atteignant une amélioration de performance cohérente sur de multiples plateformes robotiques à travers un total de 12 tâches. Le code et les vidéos sont disponibles sur : https://nakamotoo.github.io/V-GPS

English

Large, general-purpose robotic policies trained on diverse demonstration datasets have been shown to be remarkably effective both for controlling a variety of robots in a range of different scenes, and for acquiring broad repertoires of manipulation skills. However, the data that such policies are trained on is generally of mixed quality -- not only are human-collected demonstrations unlikely to perform the task perfectly, but the larger the dataset is, the harder it is to curate only the highest quality examples. It also remains unclear how optimal data from one embodiment is for training on another embodiment. In this paper, we present a general and broadly applicable approach that enhances the performance of such generalist robot policies at deployment time by re-ranking their actions according to a value function learned via offline RL. This approach, which we call Value-Guided Policy Steering (V-GPS), is compatible with a wide range of different generalist policies, without needing to fine-tune or even access the weights of the policy. We show that the same value function can improve the performance of five different state-of-the-art policies with different architectures, even though they were trained on distinct datasets, attaining consistent performance improvement on multiple robotic platforms across a total of 12 tasks. Code and videos can be found at: https://nakamotoo.github.io/V-GPS