IGOR : Les Représentations d'Objectifs d'Image sont les Unités de Contrôle Atomiques pour les Modèles Fondamentaux en IA Incarnée

IGOR: Image-GOal Representations are the Atomic Control Units for Foundation Models in Embodied AI

October 17, 2024

Auteurs: Xiaoyu Chen, Junliang Guo, Tianyu He, Chuheng Zhang, Pushi Zhang, Derek Cathera Yang, Li Zhao, Jiang Bian

cs.AI

Résumé

Nous introduisons les Représentations d'Objectif d'Image (ROGI), visant à apprendre un espace d'action unifié et sémantiquement cohérent à travers les humains et divers robots. À travers cet espace d'action latent unifié, ROGI permet le transfert de connaissances parmi des données d'activité robotique et humaine à grande échelle. Nous parvenons à cela en comprimant les changements visuels entre une image initiale et son état d'objectif en actions latentes. ROGI nous permet de générer des étiquettes d'actions latentes pour des données vidéo à l'échelle de l'internet. Cet espace d'action latent unifié permet l'entraînement de politiques fondamentales et de modèles mondiaux sur une grande variété de tâches effectuées à la fois par des robots et des humains. Nous démontrons que : (1) ROGI apprend un espace d'action sémantiquement cohérent pour les humains et les robots, caractérisant divers mouvements possibles d'objets représentant la connaissance de l'interaction physique ; (2) ROGI peut "migrer" les mouvements de l'objet dans une vidéo vers d'autres vidéos, même entre humains et robots, en utilisant conjointement le modèle d'action latent et le modèle mondial ; (3) ROGI peut apprendre à aligner les actions latentes avec le langage naturel grâce au modèle de politique fondamentale, et intégrer les actions latentes avec un modèle de politique de bas niveau pour obtenir un contrôle efficace du robot. Nous croyons que ROGI ouvre de nouvelles possibilités pour le transfert de connaissances et le contrôle de l'humain au robot.

English

We introduce Image-GOal Representations (IGOR), aiming to learn a unified, semantically consistent action space across human and various robots. Through this unified latent action space, IGOR enables knowledge transfer among large-scale robot and human activity data. We achieve this by compressing visual changes between an initial image and its goal state into latent actions. IGOR allows us to generate latent action labels for internet-scale video data. This unified latent action space enables the training of foundation policy and world models across a wide variety of tasks performed by both robots and humans. We demonstrate that: (1) IGOR learns a semantically consistent action space for both human and robots, characterizing various possible motions of objects representing the physical interaction knowledge; (2) IGOR can "migrate" the movements of the object in the one video to other videos, even across human and robots, by jointly using the latent action model and world model; (3) IGOR can learn to align latent actions with natural language through the foundation policy model, and integrate latent actions with a low-level policy model to achieve effective robot control. We believe IGOR opens new possibilities for human-to-robot knowledge transfer and control.