Real-is-Sim: Colmare il Divario Sim-to-Real con un Gemello Digitale Dinamico per la Valutazione delle Politiche Robotiche nel Mondo Reale

Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin for Real-World Robot Policy Evaluation

April 4, 2025

Autori: Jad Abou-Chakra, Lingfeng Sun, Krishan Rana, Brandon May, Karl Schmeckpeper, Maria Vittoria Minniti, Laura Herlant

cs.AI

Abstract

I recenti progressi nel campo del clonaggio comportamentale hanno permesso ai robot di eseguire compiti di manipolazione complessi. Tuttavia, valutare con precisione le prestazioni durante l'addestramento rimane una sfida, specialmente per applicazioni nel mondo reale, poiché le perdite nel clonaggio comportamentale spesso si correlano scarsamente con il successo effettivo del compito. Di conseguenza, i ricercatori ricorrono a metriche basate sul tasso di successo derivate da valutazioni nel mondo reale costose e dispendiose in termini di tempo, rendendo impraticabile l'identificazione di politiche ottimali e il rilevamento di overfitting o underfitting. Per affrontare questi problemi, proponiamo real-is-sim, un nuovo framework di clonaggio comportamentale che incorpora un gemello digitale dinamico (basato su Gaussiane Embodied) lungo l'intera pipeline di sviluppo della politica: raccolta dei dati, addestramento e implementazione. Allineando continuamente il mondo simulato con quello fisico, è possibile raccogliere dimostrazioni nel mondo reale con stati estratti dal simulatore. Il simulatore consente rappresentazioni flessibili degli stati, rendendo input di immagini da qualsiasi punto di vista o estraendo informazioni di stato di basso livello dagli oggetti incorporati nella scena. Durante l'addestramento, le politiche possono essere valutate direttamente all'interno del simulatore in modo offline e altamente parallelizzabile. Infine, durante l'implementazione, le politiche vengono eseguite all'interno del simulatore, dove il robot reale traccia direttamente le articolazioni del robot simulato, disaccoppiando efficacemente l'esecuzione della politica dall'hardware reale e mitigando le tradizionali sfide di trasferimento di dominio. Validiamo real-is-sim sul compito di manipolazione PushT, dimostrando una forte correlazione tra i tassi di successo ottenuti nel simulatore e le valutazioni nel mondo reale. I video del nostro sistema sono disponibili su https://realissim.rai-inst.com.

English

Recent advancements in behavior cloning have enabled robots to perform complex manipulation tasks. However, accurately assessing training performance remains challenging, particularly for real-world applications, as behavior cloning losses often correlate poorly with actual task success. Consequently, researchers resort to success rate metrics derived from costly and time-consuming real-world evaluations, making the identification of optimal policies and detection of overfitting or underfitting impractical. To address these issues, we propose real-is-sim, a novel behavior cloning framework that incorporates a dynamic digital twin (based on Embodied Gaussians) throughout the entire policy development pipeline: data collection, training, and deployment. By continuously aligning the simulated world with the physical world, demonstrations can be collected in the real world with states extracted from the simulator. The simulator enables flexible state representations by rendering image inputs from any viewpoint or extracting low-level state information from objects embodied within the scene. During training, policies can be directly evaluated within the simulator in an offline and highly parallelizable manner. Finally, during deployment, policies are run within the simulator where the real robot directly tracks the simulated robot's joints, effectively decoupling policy execution from real hardware and mitigating traditional domain-transfer challenges. We validate real-is-sim on the PushT manipulation task, demonstrating strong correlation between success rates obtained in the simulator and real-world evaluations. Videos of our system can be found at https://realissim.rai-inst.com.