StrandHead: Testo a Avatar di Testa 3D Disentangled in Strisce Utilizzando Priors Geometrici dei Capelli

StrandHead: Text to Strand-Disentangled 3D Head Avatars Using Hair Geometric Priors

December 16, 2024

Autori: Xiaokun Sun, Zeyu Cai, Zhenyu Zhang, Ying Tai, Jian Yang

cs.AI

Abstract

Mentre il taglio di capelli indica una personalità distintiva, i metodi esistenti di generazione di avatar falliscono nel modellare in modo pratico i capelli a causa della rappresentazione generale o intrecciata. Proponiamo StrandHead, un nuovo metodo di generazione di avatar testa 3D da testo in grado di generare capelli 3D disentangled con rappresentazione a ciocche. Senza utilizzare dati 3D per la supervisione, dimostriamo che è possibile generare ciocche di capelli realistiche da prompt attraverso la distillazione di modelli generativi a diffusione 2D. A tal fine, proponiamo una serie di priori affidabili sull'inizializzazione della forma, primitive geometriche e caratteristiche statistiche del taglio di capelli, che portano a un'ottimizzazione stabile e prestazioni allineate al testo. Estesi esperimenti dimostrano che StrandHead raggiunge lo stato dell'arte nella realtà e diversità dei capelli e della testa 3D generati. I capelli 3D generati possono anche essere facilmente implementati in Unreal Engine per simulazioni fisiche e altre applicazioni. Il codice sarà disponibile su https://xiaokunsun.github.io/StrandHead.github.io.

English

While haircut indicates distinct personality, existing avatar generation methods fail to model practical hair due to the general or entangled representation. We propose StrandHead, a novel text to 3D head avatar generation method capable of generating disentangled 3D hair with strand representation. Without using 3D data for supervision, we demonstrate that realistic hair strands can be generated from prompts by distilling 2D generative diffusion models. To this end, we propose a series of reliable priors on shape initialization, geometric primitives, and statistical haircut features, leading to a stable optimization and text-aligned performance. Extensive experiments show that StrandHead achieves the state-of-the-art reality and diversity of generated 3D head and hair. The generated 3D hair can also be easily implemented in the Unreal Engine for physical simulation and other applications. The code will be available at https://xiaokunsun.github.io/StrandHead.github.io.