LLaMA-Mesh : Unifiant la génération de maillage 3D avec des modèles de langage

LLaMA-Mesh: Unifying 3D Mesh Generation with Language Models

November 14, 2024

Auteurs: Zhengyi Wang, Jonathan Lorraine, Yikai Wang, Hang Su, Jun Zhu, Sanja Fidler, Xiaohui Zeng

cs.AI

Résumé

Ce travail explore l'expansion des capacités des grands modèles de langage (LLM) pré-entraînés sur du texte pour générer des maillages 3D au sein d'un modèle unifié. Cela offre des avantages clés : (1) exploiter les connaissances spatiales déjà intégrées dans les LLM, provenant de sources textuelles telles que des tutoriels 3D, et (2) permettre la génération conversationnelle 3D et la compréhension des maillages. Un défi principal est de tokeniser efficacement les données de maillage 3D en tokens discrets que les LLM peuvent traiter de manière transparente. Pour y remédier, nous introduisons LLaMA-Mesh, une approche novatrice qui représente les coordonnées des sommets et les définitions des faces des maillages 3D sous forme de texte brut, permettant une intégration directe avec les LLM sans étendre le vocabulaire. Nous construisons un ensemble de données de fine-tuning supervisé (SFT) permettant aux LLM pré-entraînés de (1) générer des maillages 3D à partir de consignes textuelles, (2) produire des sorties textuelles et de maillage 3D entrelacées selon les besoins, et (3) comprendre et interpréter les maillages 3D. Notre travail est le premier à démontrer que les LLM peuvent être fine-tunés pour acquérir des connaissances spatiales complexes pour la génération de maillages 3D dans un format basé sur le texte, unifiant efficacement les modalités 3D et textuelles. LLaMA-Mesh atteint une qualité de génération de maillage comparable à celle des modèles entraînés à partir de zéro tout en maintenant de solides performances en génération de texte.

English

This work explores expanding the capabilities of large language models (LLMs) pretrained on text to generate 3D meshes within a unified model. This offers key advantages of (1) leveraging spatial knowledge already embedded in LLMs, derived from textual sources like 3D tutorials, and (2) enabling conversational 3D generation and mesh understanding. A primary challenge is effectively tokenizing 3D mesh data into discrete tokens that LLMs can process seamlessly. To address this, we introduce LLaMA-Mesh, a novel approach that represents the vertex coordinates and face definitions of 3D meshes as plain text, allowing direct integration with LLMs without expanding the vocabulary. We construct a supervised fine-tuning (SFT) dataset enabling pretrained LLMs to (1) generate 3D meshes from text prompts, (2) produce interleaved text and 3D mesh outputs as required, and (3) understand and interpret 3D meshes. Our work is the first to demonstrate that LLMs can be fine-tuned to acquire complex spatial knowledge for 3D mesh generation in a text-based format, effectively unifying the 3D and text modalities. LLaMA-Mesh achieves mesh generation quality on par with models trained from scratch while maintaining strong text generation performance.