IGOR: Le Rappresentazioni dell'Obiettivo delle Immagini sono le Unità di Controllo Atomiche per i Modelli Fondamentali nell'AI Incarnata

IGOR: Image-GOal Representations are the Atomic Control Units for Foundation Models in Embodied AI

October 17, 2024

Autori: Xiaoyu Chen, Junliang Guo, Tianyu He, Chuheng Zhang, Pushi Zhang, Derek Cathera Yang, Li Zhao, Jiang Bian

cs.AI

Abstract

Introduciamo le Rappresentazioni di Obiettivi Immagine (IGOR), con l'obiettivo di apprendere uno spazio d'azione unificato e semanticamente coerente tra esseri umani e vari robot. Attraverso questo spazio d'azione latente unificato, IGOR consente il trasferimento di conoscenze tra dati di attività di robot e umani su larga scala. Otteniamo ciò comprimendo i cambiamenti visivi tra un'immagine iniziale e il suo stato obiettivo in azioni latenti. IGOR ci permette di generare etichette di azioni latenti per dati video su scala internet. Questo spazio d'azione latente unificato consente l'addestramento di politiche fondamentali e modelli del mondo su una vasta gamma di compiti eseguiti sia da robot che da esseri umani. Dimostriamo che: (1) IGOR apprende uno spazio d'azione semanticamente coerente sia per umani che per robot, caratterizzando vari possibili movimenti degli oggetti che rappresentano la conoscenza dell'interazione fisica; (2) IGOR può "migrare" i movimenti dell'oggetto in un video ad altri video, anche tra umani e robot, utilizzando congiuntamente il modello di azione latente e il modello del mondo; (3) IGOR può apprendere ad allineare azioni latenti con il linguaggio naturale attraverso il modello di politica fondamentale, e integrare azioni latenti con un modello di politica a basso livello per ottenere un controllo efficace del robot. Crediamo che IGOR apra nuove possibilità per il trasferimento di conoscenze e il controllo da umano a robot.

English

We introduce Image-GOal Representations (IGOR), aiming to learn a unified, semantically consistent action space across human and various robots. Through this unified latent action space, IGOR enables knowledge transfer among large-scale robot and human activity data. We achieve this by compressing visual changes between an initial image and its goal state into latent actions. IGOR allows us to generate latent action labels for internet-scale video data. This unified latent action space enables the training of foundation policy and world models across a wide variety of tasks performed by both robots and humans. We demonstrate that: (1) IGOR learns a semantically consistent action space for both human and robots, characterizing various possible motions of objects representing the physical interaction knowledge; (2) IGOR can "migrate" the movements of the object in the one video to other videos, even across human and robots, by jointly using the latent action model and world model; (3) IGOR can learn to align latent actions with natural language through the foundation policy model, and integrate latent actions with a low-level policy model to achieve effective robot control. We believe IGOR opens new possibilities for human-to-robot knowledge transfer and control.