SparseFlex: Modellazione 3D ad Alta Risoluzione e Topologia Arbitraria

SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling

March 27, 2025

Autori: Xianglong He, Zi-Xin Zou, Chia-Hao Chen, Yuan-Chen Guo, Ding Liang, Chun Yuan, Wanli Ouyang, Yan-Pei Cao, Yangguang Li

cs.AI

Abstract

La creazione di mesh 3D ad alta fedeltà con topologia arbitraria, incluse superfici aperte e interni complessi, rimane una sfida significativa. I metodi esistenti basati su campi impliciti spesso richiedono una conversione costosa e degradante in termini di dettagli verso superfici chiuse, mentre altri approcci faticano a gestire risoluzioni elevate. Questo articolo introduce SparseFlex, una nuova rappresentazione isosuperficiale a struttura sparsa che consente la ricostruzione differenziabile di mesh a risoluzioni fino a 1024^3 direttamente dalle perdite di rendering. SparseFlex combina la precisione di Flexicubes con una struttura voxel sparsa, concentrando il calcolo sulle regioni adiacenti alla superficie e gestendo in modo efficiente le superfici aperte. In modo cruciale, introduciamo una strategia di addestramento voxel sezionale consapevole del frustum che attiva solo i voxel rilevanti durante il rendering, riducendo drasticamente il consumo di memoria e consentendo l'addestramento ad alta risoluzione. Ciò permette, per la prima volta, la ricostruzione degli interni delle mesh utilizzando solo la supervisione del rendering. Basandoci su questo, dimostriamo una pipeline completa di modellazione delle forme addestrando un autoencoder variazionale (VAE) e un trasformatore a flusso rettificato per la generazione di forme 3D di alta qualità. I nostri esperimenti mostrano un'accuratezza di ricostruzione all'avanguardia, con una riduzione del ~82% nella distanza di Chamfer e un aumento del ~88% nell'F-score rispetto ai metodi precedenti, e dimostrano la generazione di forme 3D ad alta risoluzione e dettagliate con topologia arbitraria. Consentendo la ricostruzione e la generazione differenziabile di mesh ad alta risoluzione con perdite di rendering, SparseFlex avanza significativamente lo stato dell'arte nella rappresentazione e modellazione delle forme 3D.

English

Creating high-fidelity 3D meshes with arbitrary topology, including open surfaces and complex interiors, remains a significant challenge. Existing implicit field methods often require costly and detail-degrading watertight conversion, while other approaches struggle with high resolutions. This paper introduces SparseFlex, a novel sparse-structured isosurface representation that enables differentiable mesh reconstruction at resolutions up to 1024^3 directly from rendering losses. SparseFlex combines the accuracy of Flexicubes with a sparse voxel structure, focusing computation on surface-adjacent regions and efficiently handling open surfaces. Crucially, we introduce a frustum-aware sectional voxel training strategy that activates only relevant voxels during rendering, dramatically reducing memory consumption and enabling high-resolution training. This also allows, for the first time, the reconstruction of mesh interiors using only rendering supervision. Building upon this, we demonstrate a complete shape modeling pipeline by training a variational autoencoder (VAE) and a rectified flow transformer for high-quality 3D shape generation. Our experiments show state-of-the-art reconstruction accuracy, with a ~82% reduction in Chamfer Distance and a ~88% increase in F-score compared to previous methods, and demonstrate the generation of high-resolution, detailed 3D shapes with arbitrary topology. By enabling high-resolution, differentiable mesh reconstruction and generation with rendering losses, SparseFlex significantly advances the state-of-the-art in 3D shape representation and modeling.