ObjectMover: Generatives Objektbewegen mit Video-Prior

ObjectMover: Generative Object Movement with Video Prior

March 11, 2025

Autoren: Xin Yu, Tianyu Wang, Soo Ye Kim, Paul Guerrero, Xi Chen, Qing Liu, Zhe Lin, Xiaojuan Qi

cs.AI

Zusammenfassung

So einfach es auch erscheinen mag, ein Objekt an eine andere Position innerhalb eines Bildes zu verschieben, ist es tatsächlich eine anspruchsvolle Bildbearbeitungsaufgabe, die eine Neuabstimmung der Beleuchtung, eine Anpassung der Pose basierend auf der Perspektive, eine präzise Füllung verdeckter Bereiche sowie eine kohärente Synchronisation von Schatten und Reflexionen erfordert, während die Objektidentität beibehalten wird. In diesem Artikel präsentieren wir ObjectMover, ein generatives Modell, das Objektbewegungen in hochkomplexen Szenen durchführen kann. Unser zentraler Ansatz besteht darin, diese Aufgabe als ein Sequenz-zu-Sequenz-Problem zu modellieren und ein Videogenerierungsmodell zu feinabstimmen, um dessen Wissen über konsistente Objekterzeugung über Videoframes hinweg zu nutzen. Wir zeigen, dass unser Modell mit diesem Ansatz in der Lage ist, sich an komplexe reale Szenarien anzupassen, indem es extreme Beleuchtungsanpassungen und Objekteffektbewegungen bewältigt. Da groß angelegte Daten für Objektbewegungen nicht verfügbar sind, erstellen wir eine Datengenerierungspipeline mithilfe einer modernen Spiel-Engine, um hochwertige Datenpaare zu synthetisieren. Darüber hinaus schlagen wir eine Multi-Task-Lernstrategie vor, die das Training mit realen Videodaten ermöglicht, um die Modellgeneralisierung zu verbessern. Durch umfangreiche Experimente demonstrieren wir, dass ObjectMover hervorragende Ergebnisse erzielt und sich gut an reale Szenarien anpasst.

English

Simple as it seems, moving an object to another location within an image is, in fact, a challenging image-editing task that requires re-harmonizing the lighting, adjusting the pose based on perspective, accurately filling occluded regions, and ensuring coherent synchronization of shadows and reflections while maintaining the object identity. In this paper, we present ObjectMover, a generative model that can perform object movement in highly challenging scenes. Our key insight is that we model this task as a sequence-to-sequence problem and fine-tune a video generation model to leverage its knowledge of consistent object generation across video frames. We show that with this approach, our model is able to adjust to complex real-world scenarios, handling extreme lighting harmonization and object effect movement. As large-scale data for object movement are unavailable, we construct a data generation pipeline using a modern game engine to synthesize high-quality data pairs. We further propose a multi-task learning strategy that enables training on real-world video data to improve the model generalization. Through extensive experiments, we demonstrate that ObjectMover achieves outstanding results and adapts well to real-world scenarios.