AvatarArtist: Avatarizzazione 4D a Dominio Aperto

AvatarArtist: Open-Domain 4D Avatarization

March 25, 2025

Autori: Hongyu Liu, Xuan Wang, Ziyu Wan, Yue Ma, Jingye Chen, Yanbo Fan, Yujun Shen, Yibing Song, Qifeng Chen

cs.AI

Abstract

Questo lavoro si concentra sull'avatarizzazione 4D in dominio aperto, con l'obiettivo di creare un avatar 4D a partire da un'immagine ritratto in uno stile arbitrario. Selezioniamo i triplan parametrici come rappresentazione intermedia 4D e proponiamo un paradigma di addestramento pratico che sfrutta sia le reti generative adversarial (GAN) che i modelli di diffusione. Il nostro design nasce dall'osservazione che le GAN 4D eccellono nel collegare immagini e triplan senza supervisione, ma spesso incontrano difficoltà nel gestire distribuzioni di dati eterogenee. Un robusto prior di diffusione 2D emerge come soluzione, assistendo la GAN nel trasferire la sua competenza attraverso vari domini. La sinergia tra questi esperti permette la costruzione di un dataset immagine-triplan multi-dominio, che guida lo sviluppo di un creatore di avatar 4D generale. Esperimenti estensivi suggeriscono che il nostro modello, AvatarArtist, è in grado di produrre avatar 4D di alta qualità con una forte robustezza rispetto a vari domini di immagini sorgente. Il codice, i dati e i modelli saranno resi pubblicamente disponibili per facilitare studi futuri.

English

This work focuses on open-domain 4D avatarization, with the purpose of creating a 4D avatar from a portrait image in an arbitrary style. We select parametric triplanes as the intermediate 4D representation and propose a practical training paradigm that takes advantage of both generative adversarial networks (GANs) and diffusion models. Our design stems from the observation that 4D GANs excel at bridging images and triplanes without supervision yet usually face challenges in handling diverse data distributions. A robust 2D diffusion prior emerges as the solution, assisting the GAN in transferring its expertise across various domains. The synergy between these experts permits the construction of a multi-domain image-triplane dataset, which drives the development of a general 4D avatar creator. Extensive experiments suggest that our model, AvatarArtist, is capable of producing high-quality 4D avatars with strong robustness to various source image domains. The code, the data, and the models will be made publicly available to facilitate future studies..