Wiederbeleuchtbarer Ganzkörper-Gauß-Codec-Avatar

Relightable Full-Body Gaussian Codec Avatars

January 24, 2025

Autoren: Shaofei Wang, Tomas Simon, Igor Santesteban, Timur Bagautdinov, Junxuan Li, Vasu Agrawal, Fabian Prada, Shoou-I Yu, Pace Nalbone, Matt Gramlich, Roman Lubachersky, Chenglei Wu, Javier Romero, Jason Saragih, Michael Zollhoefer, Andreas Geiger, Siyu Tang, Shunsuke Saito

cs.AI

Zusammenfassung

Wir schlagen Relightable Full-Body Gaussian Codec Avatare vor, einen neuen Ansatz zur Modellierung von relightbaren Ganzkörper-Avataren mit fein abgestuften Details, einschließlich Gesicht und Hände. Die einzigartige Herausforderung bei der Neubeleuchtung von Ganzkörper-Avataren liegt in den großen Verformungen, die durch die Körpergelenke verursacht werden, und den daraus resultierenden Auswirkungen auf das Erscheinungsbild durch Lichttransport. Veränderungen in der Körperhaltung können die Orientierung der Körperoberflächen in Bezug auf Lichter dramatisch verändern, was sowohl lokale Erscheinungsänderungen aufgrund von Veränderungen in lokalen Lichttransportfunktionen als auch nichtlokale Änderungen aufgrund von Okklusionen zwischen Körperteilen zur Folge hat. Um dies zu bewältigen, zerlegen wir den Lichttransport in lokale und nichtlokale Effekte. Lokale Erscheinungsänderungen werden unter Verwendung erlernbarer Zonenharmoniken für diffuse Strahlungstransfers modelliert. Im Gegensatz zu Kugelharmoniken sind Zonenharmoniken äußerst effizient bei der Rotation unter Gelenkbewegungen. Dies ermöglicht es uns, den diffusen Strahlungstransfer in einem lokalen Koordinatensystem zu erlernen, was den lokalen Strahlungstransfer von der Gelenkbewegung des Körpers trennt. Um nichtlokale Erscheinungsänderungen zu berücksichtigen, führen wir ein Schattenetzwerk ein, das Schatten vorhersagt, basierend auf vorberechneter einfallender Strahlung auf einem Basisnetz. Dies erleichtert das Erlernen von nichtlokalem Schattenwurf zwischen den Körperteilen. Schließlich verwenden wir einen verzögerten Shading-Ansatz, um den spekularen Strahlungstransfer zu modellieren und Reflexionen und Highlights wie Augenreflexionen besser einzufangen. Wir zeigen, dass unser Ansatz erfolgreich sowohl den lokalen als auch den nichtlokalen Lichttransport modelliert, der für relightbare Ganzkörper-Avatare erforderlich ist, mit einer überlegenen Verallgemeinerungsfähigkeit unter neuen Beleuchtungsbedingungen und unbekannten Posen.

English

We propose Relightable Full-Body Gaussian Codec Avatars, a new approach for modeling relightable full-body avatars with fine-grained details including face and hands. The unique challenge for relighting full-body avatars lies in the large deformations caused by body articulation and the resulting impact on appearance caused by light transport. Changes in body pose can dramatically change the orientation of body surfaces with respect to lights, resulting in both local appearance changes due to changes in local light transport functions, as well as non-local changes due to occlusion between body parts. To address this, we decompose the light transport into local and non-local effects. Local appearance changes are modeled using learnable zonal harmonics for diffuse radiance transfer. Unlike spherical harmonics, zonal harmonics are highly efficient to rotate under articulation. This allows us to learn diffuse radiance transfer in a local coordinate frame, which disentangles the local radiance transfer from the articulation of the body. To account for non-local appearance changes, we introduce a shadow network that predicts shadows given precomputed incoming irradiance on a base mesh. This facilitates the learning of non-local shadowing between the body parts. Finally, we use a deferred shading approach to model specular radiance transfer and better capture reflections and highlights such as eye glints. We demonstrate that our approach successfully models both the local and non-local light transport required for relightable full-body avatars, with a superior generalization ability under novel illumination conditions and unseen poses.