Jenseits des Sehvermögens: Feinabstimmung von generalistischen Roboter-Richtlinien mit heterogenen Sensoren über die Sprachverankerung

Beyond Sight: Finetuning Generalist Robot Policies with Heterogeneous Sensors via Language Grounding

January 8, 2025

Autoren: Joshua Jones, Oier Mees, Carmelo Sferrazza, Kyle Stachowicz, Pieter Abbeel, Sergey Levine

cs.AI

Zusammenfassung

Die Interaktion mit der Welt ist ein multisensorisches Erlebnis: Um eine effektive allgemeine Interaktion zu erreichen, ist es erforderlich, alle verfügbaren Modalitäten - einschließlich Sehen, Berühren und Audio - zu nutzen, um Lücken aus teilweiser Beobachtung zu füllen. Wenn zum Beispiel die Sicht beim Greifen in eine Tasche verdeckt ist, sollte sich ein Roboter auf seine Tastsinne und sein Gehör verlassen. Allerdings werden hochmoderne generalistische Roboterstrategien in der Regel auf großen Datensätzen trainiert, um Roboteraktionen ausschließlich aus visuellen und propriozeptiven Beobachtungen vorherzusagen. In dieser Arbeit schlagen wir FuSe vor, einen neuartigen Ansatz, der es ermöglicht, visuomotorische generalistische Strategien auf heterogenen Sensor-Modalitäten, für die große Datensätze nicht leicht verfügbar sind, durch die Nutzung natürlicher Sprache als gemeinsame crossmodale Grundlage zu feinabstimmen. Wir kombinieren einen multimodalen kontrastiven Verlust mit einem auf sensorischer Grundlage beruhenden Sprachgenerierungsverlust, um semantische Informationen auf hoher Ebene zu codieren. Im Kontext der Roboter-Manipulation zeigen wir, dass FuSe das Durchführen anspruchsvoller Aufgaben ermöglicht, die ein gemeinsames Denken über Modalitäten wie Sehen, Berühren und Hören in einer Zero-Shot-Umgebung erfordern, wie z. B. multimodales Auffordern, kompositionelles crossmodales Auffordern und Beschreibungen von Objekten, mit denen es interagiert. Wir zeigen, dass dasselbe Rezept auf weitgehend unterschiedliche generalistische Strategien anwendbar ist, einschließlich sowohl diffusionsbasierter generalistischer Strategien als auch großer Vision-Sprache-Aktionsmodelle (VLA). Umfangreiche Experimente in der realen Welt zeigen, dass FuSe die Erfolgsraten im Vergleich zu allen betrachteten Baselines um über 20% steigern kann.

English

Interacting with the world is a multi-sensory experience: achieving effective general-purpose interaction requires making use of all available modalities -- including vision, touch, and audio -- to fill in gaps from partial observation. For example, when vision is occluded reaching into a bag, a robot should rely on its senses of touch and sound. However, state-of-the-art generalist robot policies are typically trained on large datasets to predict robot actions solely from visual and proprioceptive observations. In this work, we propose FuSe, a novel approach that enables finetuning visuomotor generalist policies on heterogeneous sensor modalities for which large datasets are not readily available by leveraging natural language as a common cross-modal grounding. We combine a multimodal contrastive loss with a sensory-grounded language generation loss to encode high-level semantics. In the context of robot manipulation, we show that FuSe enables performing challenging tasks that require reasoning jointly over modalities such as vision, touch, and sound in a zero-shot setting, such as multimodal prompting, compositional cross-modal prompting, and descriptions of objects it interacts with. We show that the same recipe is applicable to widely different generalist policies, including both diffusion-based generalist policies and large vision-language-action (VLA) models. Extensive experiments in the real world show that FuSeis able to increase success rates by over 20% compared to all considered baselines.