OmnimatteZero: Trainingsfreie Echtzeit-Omnimatte mit vortrainierten Video-Diffusionsmodellen

OmnimatteZero: Training-free Real-time Omnimatte with Pre-trained Video Diffusion Models

March 23, 2025

Autoren: Dvir Samuel, Matan Levy, Nir Darshan, Gal Chechik, Rami Ben-Ari

cs.AI

Zusammenfassung

Omnimatte zielt darauf ab, ein gegebenes Video in semantisch bedeutungsvolle Schichten zu zerlegen, einschließlich des Hintergrunds und einzelner Objekte sowie ihrer zugehörigen Effekte wie Schatten und Reflexionen. Bestehende Methoden erfordern oft umfangreiches Training oder kostspielige selbstüberwachte Optimierung. In diesem Artikel präsentieren wir OmnimatteZero, einen trainingsfreien Ansatz, der vorgefertigte, vortrainierte Video-Diffusionsmodelle für Omnimatte nutzt. Es kann Objekte aus Videos entfernen, einzelne Objektschichten zusammen mit ihren Effekten extrahieren und diese Objekte in neue Videos einfügen. Wir erreichen dies, indem wir Zero-Shot-Bildinpainting-Techniken für die Entfernung von Objekten in Videos anpassen, eine Aufgabe, die sie von Haus aus nicht effektiv bewältigen können. Wir zeigen dann, dass Self-Attention-Maps Informationen über das Objekt und seine Spuren erfassen und verwenden diese, um die Effekte des Objekts zu inpainten, wodurch ein sauberer Hintergrund zurückbleibt. Darüber hinaus können durch einfache latente Arithmetik Objektschichten isoliert und nahtlos mit neuen Videolagen kombiniert werden, um neue Videos zu erzeugen. Evaluierungen zeigen, dass OmnimatteZero nicht nur eine überlegene Leistung in Bezug auf die Hintergrundrekonstruktion erzielt, sondern auch einen neuen Rekord für den schnellsten Omnimatte-Ansatz aufstellt und Echtzeitleistung mit minimaler Bildlaufzeit erreicht.

English

Omnimatte aims to decompose a given video into semantically meaningful layers, including the background and individual objects along with their associated effects, such as shadows and reflections. Existing methods often require extensive training or costly self-supervised optimization. In this paper, we present OmnimatteZero, a training-free approach that leverages off-the-shelf pre-trained video diffusion models for omnimatte. It can remove objects from videos, extract individual object layers along with their effects, and composite those objects onto new videos. We accomplish this by adapting zero-shot image inpainting techniques for video object removal, a task they fail to handle effectively out-of-the-box. We then show that self-attention maps capture information about the object and its footprints and use them to inpaint the object's effects, leaving a clean background. Additionally, through simple latent arithmetic, object layers can be isolated and recombined seamlessly with new video layers to produce new videos. Evaluations show that OmnimatteZero not only achieves superior performance in terms of background reconstruction but also sets a new record for the fastest Omnimatte approach, achieving real-time performance with minimal frame runtime.