VGGT: Visuell geometrie-basierter Transformer

VGGT: Visual Geometry Grounded Transformer

March 14, 2025

Autoren: Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, David Novotny

cs.AI

Zusammenfassung

Wir stellen VGGT vor, ein vorwärtsgerichtetes neuronales Netzwerk, das direkt alle wesentlichen 3D-Attribute einer Szene, einschließlich Kameraparameter, Punktkarten, Tiefenkarten und 3D-Punktspuren, aus einer, wenigen oder hunderten ihrer Ansichten ableitet. Dieser Ansatz ist ein Fortschritt in der 3D-Computervision, wo Modelle typischerweise auf einzelne Aufgaben beschränkt und spezialisiert waren. Es ist zudem einfach und effizient, rekonstruiert Bilder in weniger als einer Sekunde und übertrifft dennoch Alternativen, die eine Nachbearbeitung mit visuellen Geometrieoptimierungstechniken erfordern. Das Netzwerk erzielt state-of-the-art Ergebnisse in mehreren 3D-Aufgaben, einschließlich Kameraparameterschätzung, Multi-View-Tiefenschätzung, dichter Punktwolkenrekonstruktion und 3D-Punktverfolgung. Wir zeigen auch, dass die Verwendung von vortrainiertem VGGT als Feature-Backbone nachgelagerte Aufgaben wie nicht-rigide Punktverfolgung und vorwärtsgerichtete Synthese neuer Ansichten erheblich verbessert. Code und Modelle sind öffentlich unter https://github.com/facebookresearch/vggt verfügbar.

English

We present VGGT, a feed-forward neural network that directly infers all key 3D attributes of a scene, including camera parameters, point maps, depth maps, and 3D point tracks, from one, a few, or hundreds of its views. This approach is a step forward in 3D computer vision, where models have typically been constrained to and specialized for single tasks. It is also simple and efficient, reconstructing images in under one second, and still outperforming alternatives that require post-processing with visual geometry optimization techniques. The network achieves state-of-the-art results in multiple 3D tasks, including camera parameter estimation, multi-view depth estimation, dense point cloud reconstruction, and 3D point tracking. We also show that using pretrained VGGT as a feature backbone significantly enhances downstream tasks, such as non-rigid point tracking and feed-forward novel view synthesis. Code and models are publicly available at https://github.com/facebookresearch/vggt.