LLaMA-Mesh: Vereinigung von 3D-Gittergenerierung mit Sprachmodellen

LLaMA-Mesh: Unifying 3D Mesh Generation with Language Models

November 14, 2024

Autoren: Zhengyi Wang, Jonathan Lorraine, Yikai Wang, Hang Su, Jun Zhu, Sanja Fidler, Xiaohui Zeng

cs.AI

Zusammenfassung

Diese Arbeit untersucht die Erweiterung der Fähigkeiten großer Sprachmodelle (LLMs), die auf Text vortrainiert sind, um 3D-Meshes innerhalb eines vereinheitlichten Modells zu generieren. Dies bietet wesentliche Vorteile, indem (1) räumliches Wissen genutzt wird, das bereits in LLMs eingebettet ist und aus textuellen Quellen wie 3D-Tutorials stammt, und (2) eine konversationelle 3D-Generierung und Mesh-Verständnis ermöglicht wird. Eine Hauptherausforderung besteht darin, 3D-Mesh-Daten effektiv in diskrete Tokens zu tokenisieren, die von LLMs nahtlos verarbeitet werden können. Um dies zu bewältigen, stellen wir LLaMA-Mesh vor, einen neuartigen Ansatz, der die Eckkoordinaten und Flächendefinitionen von 3D-Meshes als reinen Text darstellt, was eine direkte Integration mit LLMs ohne Erweiterung des Vokabulars ermöglicht. Wir erstellen einen überwachten Feinabstimmungsdatensatz (SFT), der vortrainierten LLMs ermöglicht, (1) 3D-Meshes aus Texteingaben zu generieren, (2) bei Bedarf ineinander verschachtelte Text- und 3D-Mesh-Ausgaben zu erzeugen und (3) 3D-Meshes zu verstehen und zu interpretieren. Unsere Arbeit ist die erste, die zeigt, dass LLMs feinabgestimmt werden können, um komplexe räumliche Kenntnisse für die 3D-Mesh-Generierung in einem textbasierten Format zu erlangen, wodurch die 3D- und Textmodalitäten effektiv vereinheitlicht werden. LLaMA-Mesh erreicht eine Mesh-Generierungsqualität auf Augenhöhe mit Modellen, die von Grund auf trainiert wurden, und behält gleichzeitig eine starke Textgenerierungsleistung bei.

English

This work explores expanding the capabilities of large language models (LLMs) pretrained on text to generate 3D meshes within a unified model. This offers key advantages of (1) leveraging spatial knowledge already embedded in LLMs, derived from textual sources like 3D tutorials, and (2) enabling conversational 3D generation and mesh understanding. A primary challenge is effectively tokenizing 3D mesh data into discrete tokens that LLMs can process seamlessly. To address this, we introduce LLaMA-Mesh, a novel approach that represents the vertex coordinates and face definitions of 3D meshes as plain text, allowing direct integration with LLMs without expanding the vocabulary. We construct a supervised fine-tuning (SFT) dataset enabling pretrained LLMs to (1) generate 3D meshes from text prompts, (2) produce interleaved text and 3D mesh outputs as required, and (3) understand and interpret 3D meshes. Our work is the first to demonstrate that LLMs can be fine-tuned to acquire complex spatial knowledge for 3D mesh generation in a text-based format, effectively unifying the 3D and text modalities. LLaMA-Mesh achieves mesh generation quality on par with models trained from scratch while maintaining strong text generation performance.