Chirpy3D：創造的な3D鳥生成のための連続部位潜在表現

Chirpy3D: Continuous Part Latents for Creative 3D Bird Generation

January 7, 2025

著者: Kam Woh Ng, Jing Yang, Jia Wei Sii, Jiankang Deng, Chee Seng Chan, Yi-Zhe Song, Tao Xiang, Xiatian Zhu

cs.AI

要旨

本論文では、微細な3D生成の領域を本当に創造的な領域にまで押し広げます。現在の方法は、緻密な詳細を欠いているか、単に既存のオブジェクトを模倣しているだけですが、私たちはその両方を可能にします。2Dの微細な理解を3Dに昇華させることで、マルチビューの拡散と部分的な潜在変数を連続分布としてモデリングすることにより、新しいがありうる部分を補間やサンプリングを通じて生成する能力を解き放ちます。自己監督学習の特徴一貫性損失により、これらの未知の部分の安定した生成が保証されます。その結果、既存の例を超越する種固有の詳細を持つ新しい3Dオブジェクトを作成できる最初のシステムが実現されます。私たちは鳥を対象にアプローチを実証していますが、基盤となるフレームワークはさえずるものを超えて拡張されます！コードはhttps://github.com/kamwoh/chirpy3dで公開されます。

English

In this paper, we push the boundaries of fine-grained 3D generation into truly creative territory. Current methods either lack intricate details or simply mimic existing objects -- we enable both. By lifting 2D fine-grained understanding into 3D through multi-view diffusion and modeling part latents as continuous distributions, we unlock the ability to generate entirely new, yet plausible parts through interpolation and sampling. A self-supervised feature consistency loss further ensures stable generation of these unseen parts. The result is the first system capable of creating novel 3D objects with species-specific details that transcend existing examples. While we demonstrate our approach on birds, the underlying framework extends beyond things that can chirp! Code will be released at https://github.com/kamwoh/chirpy3d.