VeGaS: Video Gausiaans Splatting

VeGaS: Video Gaussian Splatting

November 17, 2024

Auteurs: Weronika Smolak-Dyżewska, Dawid Malarz, Kornel Howil, Jan Kaczmarczyk, Marcin Mazur, Przemysław Spurek

cs.AI

Samenvatting

Impliciete Neurale Representaties (INRs) maken gebruik van neurale netwerken om discrete gegevens te benaderen als continue functies. In de context van videogegevens kunnen dergelijke modellen worden gebruikt om de coördinaten van pixellocaties samen met frame-occurrencetijden (of indices) om te zetten in RGB-kleurwaarden. Hoewel INRs effectieve compressie mogelijk maken, zijn ze niet geschikt voor bewerkingsdoeleinden. Een mogelijke oplossing is om een op 3D Gaussische Splatting (3DGS) gebaseerd model te gebruiken, zoals de Video Gaussische Representatie (VGR), dat in staat is om video te coderen als een veelvoud van 3D Gaussians en toepasbaar is voor tal van videobewerkingen, inclusief bewerkingen. Desalniettemin is in dit geval de mogelijkheid tot aanpassing beperkt tot een beperkte reeks basisveranderingen. Om dit probleem aan te pakken, introduceren we het Video Gaussische Splatting (VeGaS) model, dat realistische aanpassingen van videogegevens mogelijk maakt. Voor de constructie van VeGaS stellen we een nieuwe familie van Gevouwen-Gaussische verdelingen voor, ontworpen om niet-lineaire dynamiek in een videostream vast te leggen en opeenvolgende frames te modelleren met 2D Gaussians verkregen als respectievelijke conditionele verdelingen. Onze experimenten tonen aan dat VeGaS beter presteert dan state-of-the-art oplossingen bij frame-reconstructietaken en realistische aanpassingen van videogegevens mogelijk maakt. De code is beschikbaar op: https://github.com/gmum/VeGaS.

English

Implicit Neural Representations (INRs) employ neural networks to approximate discrete data as continuous functions. In the context of video data, such models can be utilized to transform the coordinates of pixel locations along with frame occurrence times (or indices) into RGB color values. Although INRs facilitate effective compression, they are unsuitable for editing purposes. One potential solution is to use a 3D Gaussian Splatting (3DGS) based model, such as the Video Gaussian Representation (VGR), which is capable of encoding video as a multitude of 3D Gaussians and is applicable for numerous video processing operations, including editing. Nevertheless, in this case, the capacity for modification is constrained to a limited set of basic transformations. To address this issue, we introduce the Video Gaussian Splatting (VeGaS) model, which enables realistic modifications of video data. To construct VeGaS, we propose a novel family of Folded-Gaussian distributions designed to capture nonlinear dynamics in a video stream and model consecutive frames by 2D Gaussians obtained as respective conditional distributions. Our experiments demonstrate that VeGaS outperforms state-of-the-art solutions in frame reconstruction tasks and allows realistic modifications of video data. The code is available at: https://github.com/gmum/VeGaS.