Herbelichtbare volledige lichaam Gaussische Codec avatars.

Relightable Full-Body Gaussian Codec Avatars

January 24, 2025

Auteurs: Shaofei Wang, Tomas Simon, Igor Santesteban, Timur Bagautdinov, Junxuan Li, Vasu Agrawal, Fabian Prada, Shoou-I Yu, Pace Nalbone, Matt Gramlich, Roman Lubachersky, Chenglei Wu, Javier Romero, Jason Saragih, Michael Zollhoefer, Andreas Geiger, Siyu Tang, Shunsuke Saito

cs.AI

Samenvatting

Wij stellen Relightable Full-Body Gaussian Codec Avatars voor, een nieuwe benadering voor het modelleren van relightable full-body avatars met fijne details, waaronder het gezicht en de handen. De unieke uitdaging bij het relighten van full-body avatars ligt in de grote vervormingen veroorzaakt door lichaamsarticulatie en de resulterende impact op het uiterlijk door lichttransport. Veranderingen in lichaamshouding kunnen de oriëntatie van lichaamsoppervlakken ten opzichte van lichten drastisch veranderen, wat zowel lokale uiterlijke veranderingen veroorzaakt door veranderingen in lokale lichttransportfuncties, als niet-lokale veranderingen door occlusie tussen lichaamsdelen. Om hiermee om te gaan, ontleden we het lichttransport in lokale en niet-lokale effecten. Lokale uiterlijke veranderingen worden gemodelleerd met behulp van leerbaar zonale harmonischen voor diffuse stralingsreflectie. In tegenstelling tot sferische harmonischen zijn zonale harmonischen zeer efficiënt om te roteren bij articulatie. Dit stelt ons in staat om diffuse stralingsreflectie te leren in een lokaal coördinatenstelsel, waardoor we de lokale stralingsreflectie kunnen scheiden van de articulatie van het lichaam. Om niet-lokale uiterlijke veranderingen te verwerken, introduceren we een schaduwnetwerk dat schaduwen voorspelt op basis van vooraf berekende inkomende stralingsdichtheid op een basismesh. Dit vergemakkelijkt het leren van niet-lokale schaduwen tussen de lichaamsdelen. Ten slotte gebruiken we een uitgestelde shadingbenadering om specular stralingsreflectie te modelleren en reflecties en hooglichten zoals oogreflecties beter vast te leggen. We tonen aan dat onze benadering succesvol zowel het lokale als niet-lokale lichttransport modelleert dat nodig is voor relightable full-body avatars, met een superieure generalisatiecapaciteit onder nieuwe verlichtingsomstandigheden en ongeziene poses.

English

We propose Relightable Full-Body Gaussian Codec Avatars, a new approach for modeling relightable full-body avatars with fine-grained details including face and hands. The unique challenge for relighting full-body avatars lies in the large deformations caused by body articulation and the resulting impact on appearance caused by light transport. Changes in body pose can dramatically change the orientation of body surfaces with respect to lights, resulting in both local appearance changes due to changes in local light transport functions, as well as non-local changes due to occlusion between body parts. To address this, we decompose the light transport into local and non-local effects. Local appearance changes are modeled using learnable zonal harmonics for diffuse radiance transfer. Unlike spherical harmonics, zonal harmonics are highly efficient to rotate under articulation. This allows us to learn diffuse radiance transfer in a local coordinate frame, which disentangles the local radiance transfer from the articulation of the body. To account for non-local appearance changes, we introduce a shadow network that predicts shadows given precomputed incoming irradiance on a base mesh. This facilitates the learning of non-local shadowing between the body parts. Finally, we use a deferred shading approach to model specular radiance transfer and better capture reflections and highlights such as eye glints. We demonstrate that our approach successfully models both the local and non-local light transport required for relightable full-body avatars, with a superior generalization ability under novel illumination conditions and unseen poses.