LLaMA-Mesh: Het verenigen van 3D-meshgeneratie met taalmodellen

LLaMA-Mesh: Unifying 3D Mesh Generation with Language Models

November 14, 2024

Auteurs: Zhengyi Wang, Jonathan Lorraine, Yikai Wang, Hang Su, Jun Zhu, Sanja Fidler, Xiaohui Zeng

cs.AI

Samenvatting

Dit werk onderzoekt het uitbreiden van de mogelijkheden van grote taalmodellen (LLM's) die zijn vooraf getraind op tekst om 3D-meshes te genereren binnen een geünificeerd model. Dit biedt belangrijke voordelen van (1) het benutten van ruimtelijke kennis die al is ingebed in LLM's, afgeleid van tekstuele bronnen zoals 3D-tutorials, en (2) het mogelijk maken van conversatiegerichte 3D-generatie en meshbegrip. Een primaire uitdaging is het effectief tokeniseren van 3D-meshgegevens in discrete tokens die LLM's naadloos kunnen verwerken. Om dit aan te pakken, introduceren we LLaMA-Mesh, een nieuw benadering die de vertexcoördinaten en vlakdefinities van 3D-meshes als platte tekst voorstelt, waardoor directe integratie met LLM's mogelijk is zonder de woordenschat uit te breiden. We construeren een dataset voor begeleid finetunen (SFT) waarmee vooraf getrainde LLM's (1) 3D-meshes kunnen genereren vanuit tekstprompts, (2) tekst en 3D-meshuitvoer kunnen produceren zoals vereist, en (3) 3D-meshes kunnen begrijpen en interpreteren. Ons werk is het eerste dat aantoont dat LLM's kunnen worden gefinetuned om complexe ruimtelijke kennis te verwerven voor 3D-meshgeneratie in een op tekst gebaseerd formaat, waarbij effectief de 3D- en tekstmodaliteiten worden verenigd. LLaMA-Mesh behaalt meshgeneratiekwaliteit die vergelijkbaar is met modellen die vanaf nul zijn getraind, terwijl sterke tekstgeneratieprestaties worden behouden.

English

This work explores expanding the capabilities of large language models (LLMs) pretrained on text to generate 3D meshes within a unified model. This offers key advantages of (1) leveraging spatial knowledge already embedded in LLMs, derived from textual sources like 3D tutorials, and (2) enabling conversational 3D generation and mesh understanding. A primary challenge is effectively tokenizing 3D mesh data into discrete tokens that LLMs can process seamlessly. To address this, we introduce LLaMA-Mesh, a novel approach that represents the vertex coordinates and face definitions of 3D meshes as plain text, allowing direct integration with LLMs without expanding the vocabulary. We construct a supervised fine-tuning (SFT) dataset enabling pretrained LLMs to (1) generate 3D meshes from text prompts, (2) produce interleaved text and 3D mesh outputs as required, and (3) understand and interpret 3D meshes. Our work is the first to demonstrate that LLMs can be fine-tuned to acquire complex spatial knowledge for 3D mesh generation in a text-based format, effectively unifying the 3D and text modalities. LLaMA-Mesh achieves mesh generation quality on par with models trained from scratch while maintaining strong text generation performance.