La Mia Macchina del Tempo: Trasformazione Personale dell'Età del Viso

MyTimeMachine: Personalized Facial Age Transformation

November 21, 2024

Autori: Luchao Qi, Jiaye Wu, Bang Gong, Annie N. Wang, David W. Jacobs, Roni Sengupta

cs.AI

Abstract

Il processo di invecchiamento del viso è un processo complesso, fortemente dipendente da molteplici fattori come il genere, l'etnia, lo stile di vita, ecc., rendendolo estremamente difficile apprendere un invecchiamento globale per prevedere con precisione l'invecchiamento per qualsiasi individuo. Le tecniche esistenti spesso producono risultati di invecchiamento realistici e plausibili, ma le immagini invecchiate spesso non assomigliano all'aspetto della persona all'età desiderata e quindi necessitano di personalizzazione. In molte applicazioni pratiche di invecchiamento virtuale, ad esempio negli effetti speciali visivi nei film e negli spettacoli televisivi, è spesso disponibile un'ampia collezione di foto personali dell'utente che rappresentano l'invecchiamento in un breve intervallo di tempo (20-40 anni). Tuttavia, i tentativi ingenui di personalizzare le tecniche di invecchiamento globale su collezioni di foto personali falliscono spesso. Pertanto, proponiamo MyTimeMachine (MyTM), che combina un invecchiamento globale con una collezione di foto personali (utilizzando anche solo 50 immagini) per apprendere una trasformazione dell'età personalizzata. Introduciamo una nuova Rete Adattatrice che combina le caratteristiche di invecchiamento personalizzate con le caratteristiche di invecchiamento globale e genera un'immagine invecchiata con StyleGAN2. Introduciamo inoltre tre funzioni di perdita per personalizzare la Rete Adattatrice con perdita di invecchiamento personalizzata, regolarizzazione dell'extrapolation e regolarizzazione adattiva della w-norma. Il nostro approccio può essere esteso anche ai video, ottenendo effetti di invecchiamento di alta qualità, che preservano l'identità e sono temporaneamente coerenti, assomigliando agli aspetti reali alle età desiderate, dimostrandone la superiorità rispetto agli approcci all'avanguardia.

English

Facial aging is a complex process, highly dependent on multiple factors like gender, ethnicity, lifestyle, etc., making it extremely challenging to learn a global aging prior to predict aging for any individual accurately. Existing techniques often produce realistic and plausible aging results, but the re-aged images often do not resemble the person's appearance at the target age and thus need personalization. In many practical applications of virtual aging, e.g. VFX in movies and TV shows, access to a personal photo collection of the user depicting aging in a small time interval (20sim40 years) is often available. However, naive attempts to personalize global aging techniques on personal photo collections often fail. Thus, we propose MyTimeMachine (MyTM), which combines a global aging prior with a personal photo collection (using as few as 50 images) to learn a personalized age transformation. We introduce a novel Adapter Network that combines personalized aging features with global aging features and generates a re-aged image with StyleGAN2. We also introduce three loss functions to personalize the Adapter Network with personalized aging loss, extrapolation regularization, and adaptive w-norm regularization. Our approach can also be extended to videos, achieving high-quality, identity-preserving, and temporally consistent aging effects that resemble actual appearances at target ages, demonstrating its superiority over state-of-the-art approaches.