Chirpy3D: Parti Latenti Continue per la Generazione Creativa di Uccelli 3D

Chirpy3D: Continuous Part Latents for Creative 3D Bird Generation

January 7, 2025

Autori: Kam Woh Ng, Jing Yang, Jia Wei Sii, Jiankang Deng, Chee Seng Chan, Yi-Zhe Song, Tao Xiang, Xiatian Zhu

cs.AI

Abstract

In questo articolo, spingiamo i confini della generazione 3D dettagliata in un territorio veramente creativo. I metodi attuali mancano di dettagli intricati o semplicemente imitano oggetti esistenti - noi permettiamo entrambi. Sollevando la comprensione dettagliata 2D in 3D attraverso la diffusione multi-vista e modellando i latenti delle parti come distribuzioni continue, sblocciamo la capacità di generare parti del tutto nuove, ma plausibili, attraverso l'interpolazione e il campionamento. Una perdita di coerenza delle caratteristiche auto-supervisionata garantisce ulteriormente la generazione stabile di queste parti inedite. Il risultato è il primo sistema in grado di creare nuovi oggetti 3D con dettagli specifici della specie che vanno oltre gli esempi esistenti. Mentre dimostriamo il nostro approccio sugli uccelli, il framework sottostante si estende oltre le cose che possono cinguettare! Il codice sarà rilasciato su https://github.com/kamwoh/chirpy3d.

English

In this paper, we push the boundaries of fine-grained 3D generation into truly creative territory. Current methods either lack intricate details or simply mimic existing objects -- we enable both. By lifting 2D fine-grained understanding into 3D through multi-view diffusion and modeling part latents as continuous distributions, we unlock the ability to generate entirely new, yet plausible parts through interpolation and sampling. A self-supervised feature consistency loss further ensures stable generation of these unseen parts. The result is the first system capable of creating novel 3D objects with species-specific details that transcend existing examples. While we demonstrate our approach on birds, the underlying framework extends beyond things that can chirp! Code will be released at https://github.com/kamwoh/chirpy3d.