Chirpy3D: 창의적인 3D 새 생성을 위한 연속적인 부분 잠재 변수

초록

본 논문에서는 세밀한 3D 생성의 한계를 넘어 진정한 창의적 영역으로 확장합니다. 현재 방법들은 복잡한 세부 사항이 부족하거나 기존 객체를 그대로 모방하는 한계가 있습니다. 우리는 이 두 가지를 모두 가능하게 합니다. 다중 뷰 확산과 부분 잠재 변수를 연속 분포로 모델링하여 2D 세밀한 이해를 3D로 확장함으로써, 보간과 샘플링을 통해 전혀 새로운, 그러나 타당한 부분을 생성할 수 있는 능력을 발휘합니다. 자기 지도 학습 특징 일관성 손실은 이러한 보이지 않는 부분들의 안정적인 생성을 보장합니다. 결과적으로, 기존 예시를 초월하는 종 특이적 세부 사항을 갖춘 새로운 3D 객체를 생성할 수 있는 첫 번째 시스템이 탄생합니다. 우리는 새에 대해 접근법을 시연하였지만, 기본 프레임워크는 지저귀는 것 이외의 대상에도 확장 가능합니다! 코드는 https://github.com/kamwoh/chirpy3d에서 공개될 예정입니다.

English

In this paper, we push the boundaries of fine-grained 3D generation into truly creative territory. Current methods either lack intricate details or simply mimic existing objects -- we enable both. By lifting 2D fine-grained understanding into 3D through multi-view diffusion and modeling part latents as continuous distributions, we unlock the ability to generate entirely new, yet plausible parts through interpolation and sampling. A self-supervised feature consistency loss further ensures stable generation of these unseen parts. The result is the first system capable of creating novel 3D objects with species-specific details that transcend existing examples. While we demonstrate our approach on birds, the underlying framework extends beyond things that can chirp! Code will be released at https://github.com/kamwoh/chirpy3d.

Chirpy3D: 창의적인 3D 새 생성을 위한 연속적인 부분 잠재 변수

Chirpy3D: Continuous Part Latents for Creative 3D Bird Generation

초록

Summary

Support