TreeMeshGPT: Künstlerische Mesh-Generierung mit autoregressiver Baumsequenzierung

TreeMeshGPT: Artistic Mesh Generation with Autoregressive Tree Sequencing

March 14, 2025

Autoren: Stefan Lionar, Jiabin Liang, Gim Hee Lee

cs.AI

Zusammenfassung

Wir stellen TreeMeshGPT vor, einen autoregressiven Transformer, der darauf ausgelegt ist, hochwertige künstlerische Meshes zu generieren, die mit Eingabepunktwolken ausgerichtet sind. Anstelle der konventionellen nächsten-Token-Vorhersage in autoregressiven Transformern schlagen wir eine neuartige Autoregressive Baumsequenzierung vor, bei der das nächste Eingabetoken aus einer dynamisch wachsenden Baumstruktur abgerufen wird, die auf der Dreiecksnachbarschaft von Flächen innerhalb des Meshes basiert. Unsere Sequenzierung ermöglicht es dem Mesh, sich lokal von der zuletzt generierten Dreiecksfläche in jedem Schritt auszudehnen, wodurch die Trainingsschwierigkeit verringert und die Mesh-Qualität verbessert wird. Unser Ansatz repräsentiert jede Dreiecksfläche mit zwei Tokens und erreicht damit eine Kompressionsrate von etwa 22 % im Vergleich zur naiven Flächentokenisierung. Diese effiziente Tokenisierung ermöglicht es unserem Modell, hochdetaillierte künstlerische Meshes mit starker Punktwolkenkonditionierung zu generieren, wodurch frühere Methoden sowohl in Bezug auf die Kapazität als auch die Treue übertroffen werden. Darüber hinaus erzeugt unsere Methode Meshes mit starken Normalenorientierungsbeschränkungen, wodurch umgedrehte Normalen, die in früheren Methoden häufig auftreten, minimiert werden. Unsere Experimente zeigen, dass TreeMeshGPT die Mesh-Generierungsqualität mit verfeinerten Details und konsistenter Normalenorientierung verbessert.

English

We introduce TreeMeshGPT, an autoregressive Transformer designed to generate high-quality artistic meshes aligned with input point clouds. Instead of the conventional next-token prediction in autoregressive Transformer, we propose a novel Autoregressive Tree Sequencing where the next input token is retrieved from a dynamically growing tree structure that is built upon the triangle adjacency of faces within the mesh. Our sequencing enables the mesh to extend locally from the last generated triangular face at each step, and therefore reduces training difficulty and improves mesh quality. Our approach represents each triangular face with two tokens, achieving a compression rate of approximately 22% compared to the naive face tokenization. This efficient tokenization enables our model to generate highly detailed artistic meshes with strong point cloud conditioning, surpassing previous methods in both capacity and fidelity. Furthermore, our method generates mesh with strong normal orientation constraints, minimizing flipped normals commonly encountered in previous methods. Our experiments show that TreeMeshGPT enhances the mesh generation quality with refined details and normal orientation consistency.