DeepMesh: Auto-regressive Erstellung von Künstlermeshes mit Verstärkungslernen

DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

March 19, 2025

Autoren: Ruowen Zhao, Junliang Ye, Zhengyi Wang, Guangce Liu, Yiwen Chen, Yikai Wang, Jun Zhu

cs.AI

Zusammenfassung

Dreiecksnetze spielen eine entscheidende Rolle in 3D-Anwendungen für effiziente Manipulation und Darstellung. Während autoregressive Methoden strukturierte Netze durch die Vorhersage diskreter Scheitelpunkt-Tokens erzeugen, sind sie oft durch begrenzte Flächenanzahlen und Netzunvollständigkeit eingeschränkt. Um diese Herausforderungen zu bewältigen, schlagen wir DeepMesh vor, ein Framework, das die Netzgenerierung durch zwei zentrale Innovationen optimiert: (1) eine effiziente Vorabtrainingsstrategie, die einen neuartigen Tokenisierungsalgorithmus sowie Verbesserungen in der Datenkuratierung und -verarbeitung umfasst, und (2) die Einführung von Reinforcement Learning (RL) in die 3D-Netzgenerierung, um eine Ausrichtung an menschlichen Präferenzen durch Direct Preference Optimization (DPO) zu erreichen. Wir entwickeln einen Bewertungsstandard, der menschliche Bewertungen mit 3D-Metriken kombiniert, um Präferenzpaare für DPO zu sammeln und sowohl visuelle Anziehungskraft als auch geometrische Genauigkeit sicherzustellen. Basierend auf Punktwolken und Bildern erzeugt DeepMesh Netze mit komplexen Details und präziser Topologie und übertrifft dabei state-of-the-art Methoden sowohl in der Präzision als auch in der Qualität. Projektseite: https://zhaorw02.github.io/DeepMesh/

English

Triangle meshes play a crucial role in 3D applications for efficient manipulation and rendering. While auto-regressive methods generate structured meshes by predicting discrete vertex tokens, they are often constrained by limited face counts and mesh incompleteness. To address these challenges, we propose DeepMesh, a framework that optimizes mesh generation through two key innovations: (1) an efficient pre-training strategy incorporating a novel tokenization algorithm, along with improvements in data curation and processing, and (2) the introduction of Reinforcement Learning (RL) into 3D mesh generation to achieve human preference alignment via Direct Preference Optimization (DPO). We design a scoring standard that combines human evaluation with 3D metrics to collect preference pairs for DPO, ensuring both visual appeal and geometric accuracy. Conditioned on point clouds and images, DeepMesh generates meshes with intricate details and precise topology, outperforming state-of-the-art methods in both precision and quality. Project page: https://zhaorw02.github.io/DeepMesh/