OmniManip: Verso una Manipolazione Robotica Generale tramite Primitive di Interazione Centrate sugli Oggetti come Vincoli Spaziali

OmniManip: Towards General Robotic Manipulation via Object-Centric Interaction Primitives as Spatial Constraints

January 7, 2025

Autori: Mingjie Pan, Jiyao Zhang, Tianshu Wu, Yinghao Zhao, Wenlong Gao, Hao Dong

cs.AI

Abstract

Lo sviluppo di sistemi robotici generali capaci di manipolare in ambienti non strutturati è una sfida significativa. Mentre i Modelli Visione-Linguaggio (VLM) eccellono nel ragionamento di senso comune di alto livello, mancano della comprensione spaziale 3D dettagliata richiesta per compiti di manipolazione precisa. Il raffinamento dei VLM su set di dati robotici per creare Modelli Visione-Linguaggio-Azione (VLA) è una soluzione potenziale, ma è ostacolato dai costi elevati di raccolta dati e dai problemi di generalizzazione. Per affrontare queste sfide, proponiamo una nuova rappresentazione centrata sugli oggetti che colma il divario tra il ragionamento di alto livello dei VLM e la precisione di basso livello richiesta per la manipolazione. La nostra intuizione chiave è che lo spazio canonico di un oggetto, definito dalle sue affordances funzionali, fornisce un modo strutturato e semanticamente significativo per descrivere primitive di interazione, come punti e direzioni. Queste primitive fungono da ponte, traducendo il ragionamento di senso comune dei VLM in vincoli spaziali 3D eseguibili. In questo contesto, introduciamo un sistema di manipolazione robotica a doppio loop chiuso, open-vocabulary: un loop per la pianificazione di alto livello attraverso il campionamento primitivo, la rappresentazione dell'interazione e il controllo VLM, e un altro per l'esecuzione di basso livello tramite il tracciamento della posa 6D. Questo design garantisce un controllo robusto e in tempo reale senza richiedere il raffinamento dei VLM. Estesi esperimenti dimostrano una forte generalizzazione senza training su diverse attività di manipolazione robotica, evidenziando il potenziale di questo approccio per automatizzare la generazione di dati di simulazione su larga scala.

English

The development of general robotic systems capable of manipulating in unstructured environments is a significant challenge. While Vision-Language Models(VLM) excel in high-level commonsense reasoning, they lack the fine-grained 3D spatial understanding required for precise manipulation tasks. Fine-tuning VLM on robotic datasets to create Vision-Language-Action Models(VLA) is a potential solution, but it is hindered by high data collection costs and generalization issues. To address these challenges, we propose a novel object-centric representation that bridges the gap between VLM's high-level reasoning and the low-level precision required for manipulation. Our key insight is that an object's canonical space, defined by its functional affordances, provides a structured and semantically meaningful way to describe interaction primitives, such as points and directions. These primitives act as a bridge, translating VLM's commonsense reasoning into actionable 3D spatial constraints. In this context, we introduce a dual closed-loop, open-vocabulary robotic manipulation system: one loop for high-level planning through primitive resampling, interaction rendering and VLM checking, and another for low-level execution via 6D pose tracking. This design ensures robust, real-time control without requiring VLM fine-tuning. Extensive experiments demonstrate strong zero-shot generalization across diverse robotic manipulation tasks, highlighting the potential of this approach for automating large-scale simulation data generation.