DSO: Allineamento dei generatori 3D con feedback di simulazione per la correttezza fisica

DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness

March 28, 2025

Autori: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

cs.AI

Abstract

La maggior parte dei generatori di oggetti 3D si concentra sulla qualità estetica, spesso trascurando i vincoli fisici necessari nelle applicazioni. Uno di questi vincoli è che l'oggetto 3D dovrebbe essere autoportante, ovvero rimanere in equilibrio sotto l'effetto della gravità. Gli approcci precedenti per generare oggetti 3D stabili utilizzavano simulatori fisici differenziabili per ottimizzare la geometria al momento del test, un processo lento, instabile e soggetto a ottimi locali. Ispirati dalla letteratura sull'allineamento dei modelli generativi a feedback esterni, proponiamo Direct Simulation Optimization (DSO), un framework che utilizza il feedback di un simulatore (non differenziabile) per aumentare la probabilità che il generatore 3D produca direttamente oggetti 3D stabili. Costruiamo un dataset di oggetti 3D etichettati con un punteggio di stabilità ottenuto dal simulatore fisico. Possiamo quindi ottimizzare il generatore 3D utilizzando il punteggio di stabilità come metrica di allineamento, tramite direct preference optimization (DPO) o direct reward optimization (DRO), un nuovo obiettivo che introduciamo per allineare i modelli di diffusione senza richiedere preferenze a coppie. I nostri esperimenti dimostrano che il generatore feed-forward ottimizzato, utilizzando l'obiettivo DPO o DRO, è molto più veloce e ha una maggiore probabilità di produrre oggetti stabili rispetto all'ottimizzazione al momento del test. In particolare, il framework DSO funziona anche senza oggetti 3D di riferimento per l'addestramento, consentendo al generatore 3D di migliorarsi automaticamente raccogliendo feedback di simulazione sui propri output.

English

Most 3D object generators focus on aesthetic quality, often neglecting physical constraints necessary in applications. One such constraint is that the 3D object should be self-supporting, i.e., remains balanced under gravity. Prior approaches to generating stable 3D objects used differentiable physics simulators to optimize geometry at test-time, which is slow, unstable, and prone to local optima. Inspired by the literature on aligning generative models to external feedback, we propose Direct Simulation Optimization (DSO), a framework to use the feedback from a (non-differentiable) simulator to increase the likelihood that the 3D generator outputs stable 3D objects directly. We construct a dataset of 3D objects labeled with a stability score obtained from the physics simulator. We can then fine-tune the 3D generator using the stability score as the alignment metric, via direct preference optimization (DPO) or direct reward optimization (DRO), a novel objective, which we introduce, to align diffusion models without requiring pairwise preferences. Our experiments show that the fine-tuned feed-forward generator, using either DPO or DRO objective, is much faster and more likely to produce stable objects than test-time optimization. Notably, the DSO framework works even without any ground-truth 3D objects for training, allowing the 3D generator to self-improve by automatically collecting simulation feedback on its own outputs.