IGOR: Beeld-DOel Representaties zijn de Atomaire Controle Eenheden voor Fundamentele Modellen in Geïncarneerde AI.

IGOR: Image-GOal Representations are the Atomic Control Units for Foundation Models in Embodied AI

October 17, 2024

Auteurs: Xiaoyu Chen, Junliang Guo, Tianyu He, Chuheng Zhang, Pushi Zhang, Derek Cathera Yang, Li Zhao, Jiang Bian

cs.AI

Samenvatting

We introduceren Image-GOal Representations (IGOR), met als doel een eenduidige, semantisch consistente actieruimte te leren voor zowel mensen als diverse robots. Via deze eenduidige latente actieruimte maakt IGOR kennisoverdracht mogelijk tussen grootschalige robot- en menselijke activiteitsgegevens. We bereiken dit door visuele veranderingen tussen een initiële afbeelding en de doeltoestand samen te drukken tot latente acties. IGOR stelt ons in staat latente actielabels te genereren voor video-gegevens op internet-schaal. Deze eenduidige latente actieruimte maakt het mogelijk om basisbeleid en wereldmodellen te trainen voor een breed scala aan taken uitgevoerd door zowel robots als mensen. We tonen aan dat: (1) IGOR een semantisch consistente actieruimte leert voor zowel mensen als robots, waarin verschillende mogelijke bewegingen van objecten die de kennis van fysieke interactie vertegenwoordigen, worden gekarakteriseerd; (2) IGOR de bewegingen van het object in de ene video kan "migreren" naar andere video's, zelfs tussen mensen en robots, door gezamenlijk gebruik te maken van het latente actiemodel en het wereldmodel; (3) IGOR kan leren om latente acties af te stemmen op natuurlijke taal via het basisbeleidsmodel, en latente acties te integreren met een beleidsmodel op laag niveau om effectieve robotbesturing te bereiken. We geloven dat IGOR nieuwe mogelijkheden opent voor kennisoverdracht en controle van mens naar robot.

English

We introduce Image-GOal Representations (IGOR), aiming to learn a unified, semantically consistent action space across human and various robots. Through this unified latent action space, IGOR enables knowledge transfer among large-scale robot and human activity data. We achieve this by compressing visual changes between an initial image and its goal state into latent actions. IGOR allows us to generate latent action labels for internet-scale video data. This unified latent action space enables the training of foundation policy and world models across a wide variety of tasks performed by both robots and humans. We demonstrate that: (1) IGOR learns a semantically consistent action space for both human and robots, characterizing various possible motions of objects representing the physical interaction knowledge; (2) IGOR can "migrate" the movements of the object in the one video to other videos, even across human and robots, by jointly using the latent action model and world model; (3) IGOR can learn to align latent actions with natural language through the foundation policy model, and integrate latent actions with a low-level policy model to achieve effective robot control. We believe IGOR opens new possibilities for human-to-robot knowledge transfer and control.