Эффективное гауссовское сглаживание для монокулярного рендеринга динамических сцен через разреженное моделирование временно-переменных атрибутов.

Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling

February 27, 2025

Авторы: Hanyang Kong, Xingyi Yang, Xinchao Wang

cs.AI

Аннотация

Отображение динамичных сцен из монокулярных видео является важной, но сложной задачей. Недавно было предложено деформируемое гауссово сплетение как надежное решение для представления динамичных сцен реального мира. Однако это часто приводит к избыточным гауссовым функциям, пытающимся соответствовать каждому обучающему виду на различных временных шагах, что замедляет процесс отображения. Кроме того, атрибуты гауссовых функций в статических областях неизменны со временем, что делает избыточное моделирование каждой гауссовой функции излишним и может вызвать дрожание в статических областях. На практике основным узким местом в скорости отображения динамичных сцен является количество гауссовых функций. В ответ на это мы представляем эффективное динамичное гауссово сплетение (EDGS), которое представляет динамичные сцены с помощью разреженного моделирования атрибутов, изменяющихся со временем. Наш подход формулирует динамичные сцены с использованием разреженного представления якорной сетки, при этом поток движения плотных гауссовых функций рассчитывается с использованием классического ядерного представления. Кроме того, мы предлагаем безнадзорную стратегию для эффективной фильтрации якорей, соответствующих статическим областям. Только якоря, связанные с деформируемыми объектами, подаются на вход в MLP для запроса атрибутов, изменяющихся со временем. Эксперименты на двух реальных наборах данных показывают, что наш метод EDGS значительно улучшает скорость отображения при превосходном качестве изображения по сравнению с предыдущими передовыми методами.

English

Rendering dynamic scenes from monocular videos is a crucial yet challenging task. The recent deformable Gaussian Splatting has emerged as a robust solution to represent real-world dynamic scenes. However, it often leads to heavily redundant Gaussians, attempting to fit every training view at various time steps, leading to slower rendering speeds. Additionally, the attributes of Gaussians in static areas are time-invariant, making it unnecessary to model every Gaussian, which can cause jittering in static regions. In practice, the primary bottleneck in rendering speed for dynamic scenes is the number of Gaussians. In response, we introduce Efficient Dynamic Gaussian Splatting (EDGS), which represents dynamic scenes via sparse time-variant attribute modeling. Our approach formulates dynamic scenes using a sparse anchor-grid representation, with the motion flow of dense Gaussians calculated via a classical kernel representation. Furthermore, we propose an unsupervised strategy to efficiently filter out anchors corresponding to static areas. Only anchors associated with deformable objects are input into MLPs to query time-variant attributes. Experiments on two real-world datasets demonstrate that our EDGS significantly improves the rendering speed with superior rendering quality compared to previous state-of-the-art methods.