Реконструкция планировки помещения по редким видам без предварительной подготовки в эпоху предобученных моделей

Unposed Sparse Views Room Layout Reconstruction in the Age of Pretrain Model

February 24, 2025

Авторы: Yaxuan Huang, Xili Dai, Jianan Wang, Xianbiao Qi, Yixing Yuan, Xiangyu Yue

cs.AI

Аннотация

Оценка планировки помещения на основе изображений с нескольких точек зрения остается малоизученной областью из-за сложностей, возникающих в многовидовой геометрии, которая требует многоэтапных решений, таких как оценка внутренних и внешних параметров камеры, сопоставление изображений и триангуляция. Однако в области 3D-реконструкции прогресс в современных базовых моделях, таких как DUSt3R, сместил парадигму от традиционного многоэтапного процесса структуры из движения к сквозному одноэтапному подходу. В связи с этим мы представляем Plane-DUSt3R — новый метод оценки планировки помещения на основе нескольких видов, использующий базовую 3D-модель DUSt3R. Plane-DUSt3R интегрирует фреймворк DUSt3R и дообучается на наборе данных для планировки помещений (Structure3D) с модифицированной целью оценки структурных плоскостей. Генерируя однородные и лаконичные результаты, Plane-DUSt3R позволяет оценивать планировку помещения всего за один этап постобработки и с использованием результатов 2D-детекции. В отличие от предыдущих методов, которые полагаются на изображения с одной точки зрения или панорамные изображения, Plane-DUSt3R расширяет настройку для обработки изображений с нескольких точек зрения. Более того, он предлагает упрощенное сквозное решение, которое упрощает процесс и снижает накопление ошибок. Экспериментальные результаты показывают, что Plane-DUSt3R не только превосходит современные методы на синтетических данных, но также демонстрирует устойчивость и эффективность на реальных данных с различными стилями изображений, такими как мультфильмы. Наш код доступен по адресу: https://github.com/justacar/Plane-DUSt3R.

English

Room layout estimation from multiple-perspective images is poorly investigated due to the complexities that emerge from multi-view geometry, which requires muti-step solutions such as camera intrinsic and extrinsic estimation, image matching, and triangulation. However, in 3D reconstruction, the advancement of recent 3D foundation models such as DUSt3R has shifted the paradigm from the traditional multi-step structure-from-motion process to an end-to-end single-step approach. To this end, we introduce Plane-DUSt3R, a novel method for multi-view room layout estimation leveraging the 3D foundation model DUSt3R. Plane-DUSt3R incorporates the DUSt3R framework and fine-tunes on a room layout dataset (Structure3D) with a modified objective to estimate structural planes. By generating uniform and parsimonious results, Plane-DUSt3R enables room layout estimation with only a single post-processing step and 2D detection results. Unlike previous methods that rely on single-perspective or panorama image, Plane-DUSt3R extends the setting to handle multiple-perspective images. Moreover, it offers a streamlined, end-to-end solution that simplifies the process and reduces error accumulation. Experimental results demonstrate that Plane-DUSt3R not only outperforms state-of-the-art methods on the synthetic dataset but also proves robust and effective on in the wild data with different image styles such as cartoon.Our code is available at: https://github.com/justacar/Plane-DUSt3R