GS^3: Efficiënte verlichting met Triple Gaussian Splatting

GS^3: Efficient Relighting with Triple Gaussian Splatting

October 15, 2024

Auteurs: Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, Hongzhi Wu

cs.AI

Samenvatting

We presenteren een op een ruimte- en hoekige Gauss gebaseerde representatie en een drievoudig splatproces, voor real-time, hoogwaardige nieuwe verlichtings- en weergavesynthese van multi-view puntverlichte invoerbeelden. Om complexe verschijningen te beschrijven, gebruiken we een Lambertiaanse plus een mengsel van hoekige Gaussians als een effectieve reflectiefunctie voor elke ruimtelijke Gauss. Om zelfschaduw te genereren, splatten we alle ruimtelijke Gaussians naar de lichtbron om schaduwwaarden te verkrijgen, die verder verfijnd worden door een kleine multi-layer perceptron. Om andere effecten zoals globale verlichting te compenseren, wordt een ander netwerk getraind om een per-ruimtelijke-Gaussische RGB-tuple te berekenen en toe te voegen. De effectiviteit van onze representatie wordt gedemonstreerd op 30 monsters met een brede variatie in geometrie (van massief tot pluizig) en verschijning (van doorschijnend tot anisotroop), evenals het gebruik van verschillende vormen van invoergegevens, inclusief gerenderde beelden van synthetische/gereconstrueerde objecten, foto's genomen met een handcamera en een flitser, of van een professionele lichtcabine. We bereiken een trainingsduur van 40-70 minuten en een renderingsnelheid van 90 fps op een enkele commodity GPU. Onze resultaten zijn gunstig in vergelijking met state-of-the-art technieken op het gebied van kwaliteit/prestatie. Onze code en gegevens zijn openbaar beschikbaar op https://GSrelight.github.io/.

English

We present a spatial and angular Gaussian based representation and a triple splatting process, for real-time, high-quality novel lighting-and-view synthesis from multi-view point-lit input images. To describe complex appearance, we employ a Lambertian plus a mixture of angular Gaussians as an effective reflectance function for each spatial Gaussian. To generate self-shadow, we splat all spatial Gaussians towards the light source to obtain shadow values, which are further refined by a small multi-layer perceptron. To compensate for other effects like global illumination, another network is trained to compute and add a per-spatial-Gaussian RGB tuple. The effectiveness of our representation is demonstrated on 30 samples with a wide variation in geometry (from solid to fluffy) and appearance (from translucent to anisotropic), as well as using different forms of input data, including rendered images of synthetic/reconstructed objects, photographs captured with a handheld camera and a flash, or from a professional lightstage. We achieve a training time of 40-70 minutes and a rendering speed of 90 fps on a single commodity GPU. Our results compare favorably with state-of-the-art techniques in terms of quality/performance. Our code and data are publicly available at https://GSrelight.github.io/.