재조명 가능한 전신 가우시안 코덱 아바타

Relightable Full-Body Gaussian Codec Avatars

January 24, 2025

저자: Shaofei Wang, Tomas Simon, Igor Santesteban, Timur Bagautdinov, Junxuan Li, Vasu Agrawal, Fabian Prada, Shoou-I Yu, Pace Nalbone, Matt Gramlich, Roman Lubachersky, Chenglei Wu, Javier Romero, Jason Saragih, Michael Zollhoefer, Andreas Geiger, Siyu Tang, Shunsuke Saito

cs.AI

초록

우리는 Relightable Full-Body Gaussian Codec Avatars를 제안합니다. 이는 얼굴과 손을 포함한 세밀한 세부 사항을 가진 relightable full-body 아바타를 모델링하기 위한 새로운 접근 방식입니다. relightable full-body 아바타를 위한 독특한 도전 과제는 몸의 관절 운동에 의한 큰 변형과 이로 인한 빛 전달에 의한 외관 변화에 있습니다. 몸의 자세 변화는 몸의 표면이 빛에 대해 방향을 크게 변경하게 하며, 결과적으로 국소 빛 전달 함수의 변경으로 인한 지역적 외관 변화와 몸의 부분 간 가려짐으로 인한 비지역적 변화가 발생합니다. 이를 해결하기 위해 우리는 빛 전달을 국소 및 비지역적 효과로 분해합니다. 국소적 외관 변화는 확산 방사 전송을 위한 학습 가능한 존 알몬드를 사용하여 모델링됩니다. 구 형 알몬드와 달리, 존 알몬드는 관절 운동 아래에서 회전이 매우 효율적입니다. 이를 통해 우리는 지역 좌표 프레임에서 확산 방사 전송을 학습할 수 있으며, 이는 지역 방사 전송을 몸의 관절 운동에서 분리합니다. 비지역적 외관 변화를 고려하기 위해 사전 계산된 기본 메시 위에 들어오는 입사 복사로 그림자를 예측하는 그림자 네트워크를 도입합니다. 이는 몸의 부분 간 비지역적 그림자를 학습하는 데 도움이 됩니다. 마지막으로 우리는 반사 방사 전송을 모델링하고 눈 반짝임과 같은 반사와 강조를 더 잘 포착하기 위해 지연 쉐이딩 접근 방식을 사용합니다. 우리의 접근 방식이 relightable full-body 아바타에 필요한 지역 및 비지역 빛 전달을 성공적으로 모델링하며, 새로운 조명 조건 및 보이지 않는 자세에서도 우수한 일반화 능력을 갖는 것을 시연합니다.

English

We propose Relightable Full-Body Gaussian Codec Avatars, a new approach for modeling relightable full-body avatars with fine-grained details including face and hands. The unique challenge for relighting full-body avatars lies in the large deformations caused by body articulation and the resulting impact on appearance caused by light transport. Changes in body pose can dramatically change the orientation of body surfaces with respect to lights, resulting in both local appearance changes due to changes in local light transport functions, as well as non-local changes due to occlusion between body parts. To address this, we decompose the light transport into local and non-local effects. Local appearance changes are modeled using learnable zonal harmonics for diffuse radiance transfer. Unlike spherical harmonics, zonal harmonics are highly efficient to rotate under articulation. This allows us to learn diffuse radiance transfer in a local coordinate frame, which disentangles the local radiance transfer from the articulation of the body. To account for non-local appearance changes, we introduce a shadow network that predicts shadows given precomputed incoming irradiance on a base mesh. This facilitates the learning of non-local shadowing between the body parts. Finally, we use a deferred shading approach to model specular radiance transfer and better capture reflections and highlights such as eye glints. We demonstrate that our approach successfully models both the local and non-local light transport required for relightable full-body avatars, with a superior generalization ability under novel illumination conditions and unseen poses.