LLaMA-Mesh: Unificare la generazione di mesh 3D con modelli linguistici

LLaMA-Mesh: Unifying 3D Mesh Generation with Language Models

November 14, 2024

Autori: Zhengyi Wang, Jonathan Lorraine, Yikai Wang, Hang Su, Jun Zhu, Sanja Fidler, Xiaohui Zeng

cs.AI

Abstract

Questo lavoro esplora l'espansione delle capacità dei grandi modelli linguistici (LLM) preaddestrati su testo per generare mesh 3D all'interno di un modello unificato. Ciò offre importanti vantaggi nel (1) sfruttare la conoscenza spaziale già incorporata nei LLM, derivata da fonti testuali come tutorial 3D, e nel (2) consentire la generazione conversazionale 3D e la comprensione delle mesh. Una sfida principale è la tokenizzazione efficace dei dati delle mesh 3D in token discreti che i LLM possono elaborare in modo fluido. Per affrontare questo problema, introduciamo LLaMA-Mesh, un approccio innovativo che rappresenta le coordinate dei vertici e le definizioni dei poligoni delle mesh 3D come testo semplice, consentendo un'integrazione diretta con i LLM senza espandere il vocabolario. Costruiamo un dataset di fine-tuning supervisionato (SFT) che consente ai LLM preaddestrati di (1) generare mesh 3D da prompt di testo, (2) produrre output di testo e mesh 3D intercalati come richiesto e (3) comprendere e interpretare le mesh 3D. Il nostro lavoro è il primo a dimostrare che i LLM possono essere affinati per acquisire conoscenze spaziali complesse per la generazione di mesh 3D in un formato basato su testo, unificando efficacemente le modalità 3D e testuali. LLaMA-Mesh raggiunge una qualità di generazione di mesh all'altezza dei modelli addestrati da zero, mantenendo nel contempo elevate prestazioni nella generazione di testo.

English

This work explores expanding the capabilities of large language models (LLMs) pretrained on text to generate 3D meshes within a unified model. This offers key advantages of (1) leveraging spatial knowledge already embedded in LLMs, derived from textual sources like 3D tutorials, and (2) enabling conversational 3D generation and mesh understanding. A primary challenge is effectively tokenizing 3D mesh data into discrete tokens that LLMs can process seamlessly. To address this, we introduce LLaMA-Mesh, a novel approach that represents the vertex coordinates and face definitions of 3D meshes as plain text, allowing direct integration with LLMs without expanding the vocabulary. We construct a supervised fine-tuning (SFT) dataset enabling pretrained LLMs to (1) generate 3D meshes from text prompts, (2) produce interleaved text and 3D mesh outputs as required, and (3) understand and interpret 3D meshes. Our work is the first to demonstrate that LLMs can be fine-tuned to acquire complex spatial knowledge for 3D mesh generation in a text-based format, effectively unifying the 3D and text modalities. LLaMA-Mesh achieves mesh generation quality on par with models trained from scratch while maintaining strong text generation performance.