Oltre la vista: Ottimizzazione delle politiche generaliste dei robot tramite il raffinamento con sensori eterogenei attraverso il language grounding.

Beyond Sight: Finetuning Generalist Robot Policies with Heterogeneous Sensors via Language Grounding

January 8, 2025

Autori: Joshua Jones, Oier Mees, Carmelo Sferrazza, Kyle Stachowicz, Pieter Abbeel, Sergey Levine

cs.AI

Abstract

Interagire con il mondo è un'esperienza multisensoriale: per raggiungere un'interazione efficace di scopo generale è necessario sfruttare tutte le modalità disponibili - compresa la visione, il tatto e l'audio - per colmare le lacune derivanti dall'osservazione parziale. Ad esempio, quando la visione è oscurata mentre si infila la mano in una borsa, un robot dovrebbe fare affidamento sui suoi sensi del tatto e del suono. Tuttavia, le politiche robot generaliste all'avanguardia sono tipicamente addestrate su ampi set di dati per prevedere le azioni del robot esclusivamente da osservazioni visive e propriocettive. In questo lavoro, proponiamo FuSe, un nuovo approccio che consente di perfezionare le politiche generaliste visuomotorie su modalità sensoriali eterogenee per le quali ampi set di dati non sono prontamente disponibili, sfruttando il linguaggio naturale come base comune cross-modale. Combiniamo una perdita contrastiva multimodale con una perdita di generazione del linguaggio basata sui sensori per codificare semantica di alto livello. Nel contesto della manipolazione robotica, mostriamo che FuSe consente di eseguire compiti impegnativi che richiedono ragionamento congiunto su modalità come visione, tatto e suono in un contesto di zero-shot, come l'incoraggiamento multimodale, l'incoraggiamento composito cross-modale e le descrizioni degli oggetti con cui interagisce. Dimostriamo che la stessa ricetta è applicabile a politiche generaliste ampiamente diverse, inclusi sia le politiche generaliste basate sulla diffusione che i modelli VLA (visione-linguaggio-azione) di ampia portata. Estesi esperimenti nel mondo reale dimostrano che FuSe è in grado di aumentare i tassi di successo di oltre il 20% rispetto a tutti i baselines considerati.

English

Interacting with the world is a multi-sensory experience: achieving effective general-purpose interaction requires making use of all available modalities -- including vision, touch, and audio -- to fill in gaps from partial observation. For example, when vision is occluded reaching into a bag, a robot should rely on its senses of touch and sound. However, state-of-the-art generalist robot policies are typically trained on large datasets to predict robot actions solely from visual and proprioceptive observations. In this work, we propose FuSe, a novel approach that enables finetuning visuomotor generalist policies on heterogeneous sensor modalities for which large datasets are not readily available by leveraging natural language as a common cross-modal grounding. We combine a multimodal contrastive loss with a sensory-grounded language generation loss to encode high-level semantics. In the context of robot manipulation, we show that FuSe enables performing challenging tasks that require reasoning jointly over modalities such as vision, touch, and sound in a zero-shot setting, such as multimodal prompting, compositional cross-modal prompting, and descriptions of objects it interacts with. We show that the same recipe is applicable to widely different generalist policies, including both diffusion-based generalist policies and large vision-language-action (VLA) models. Extensive experiments in the real world show that FuSeis able to increase success rates by over 20% compared to all considered baselines.