Chirpy3D: Latentes de Partes Contínuas para Geração Criativa de Pássaros 3D

Chirpy3D: Continuous Part Latents for Creative 3D Bird Generation

January 7, 2025

Autores: Kam Woh Ng, Jing Yang, Jia Wei Sii, Jiankang Deng, Chee Seng Chan, Yi-Zhe Song, Tao Xiang, Xiatian Zhu

cs.AI

Resumo

Neste artigo, ampliamos os limites da geração 3D detalhada para um território verdadeiramente criativo. Os métodos atuais ou carecem de detalhes intricados ou simplesmente imitam objetos existentes - nós possibilitamos ambos. Ao elevar a compreensão detalhada 2D para 3D através de difusão multi-visual e modelagem de latentes de partes como distribuições contínuas, desbloqueamos a capacidade de gerar partes inteiramente novas, porém plausíveis, por meio de interpolação e amostragem. Uma perda de consistência de características auto-supervisionada garante ainda a geração estável dessas partes não vistas. O resultado é o primeiro sistema capaz de criar objetos 3D inovadores com detalhes específicos de espécies que transcendem exemplos existentes. Embora demonstremos nossa abordagem em aves, o framework subjacente se estende além das coisas que podem cantar! O código será disponibilizado em https://github.com/kamwoh/chirpy3d.

English

In this paper, we push the boundaries of fine-grained 3D generation into truly creative territory. Current methods either lack intricate details or simply mimic existing objects -- we enable both. By lifting 2D fine-grained understanding into 3D through multi-view diffusion and modeling part latents as continuous distributions, we unlock the ability to generate entirely new, yet plausible parts through interpolation and sampling. A self-supervised feature consistency loss further ensures stable generation of these unseen parts. The result is the first system capable of creating novel 3D objects with species-specific details that transcend existing examples. While we demonstrate our approach on birds, the underlying framework extends beyond things that can chirp! Code will be released at https://github.com/kamwoh/chirpy3d.