OmniPaint: Beherrschung der objektorientierten Bearbeitung durch entkoppelte Einfüge-Entfernungs-Inpainting

OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting

March 11, 2025

Autoren: Yongsheng Yu, Ziyun Zeng, Haitian Zheng, Jiebo Luo

cs.AI

Zusammenfassung

Diffusionsbasierte generative Modelle haben die objektorientierte Bildbearbeitung revolutioniert, doch ihr Einsatz bei der realistischen Objektentfernung und -einfügung wird weiterhin durch Herausforderungen wie das komplexe Zusammenspiel physikalischer Effekte und unzureichende gepaarte Trainingsdaten behindert. In dieser Arbeit stellen wir OmniPaint vor, ein einheitliches Framework, das die Objektentfernung und -einfügung als interdependente Prozesse neu konzipiert, anstatt sie als isolierte Aufgaben zu betrachten. Durch die Nutzung eines vortrainierten Diffusions-Priors sowie einer progressiven Trainingspipeline, die aus der Optimierung initialer gepaarter Proben und anschließender großflächiger ungepaarter Verfeinerung via CycleFlow besteht, erreicht OmniPaint eine präzise Vordergrundeliminierung und nahtlose Objekteinfügung, während die Szenengeometrie und intrinsischen Eigenschaften treu bewahrt werden. Darüber hinaus bietet unser neuartiges CFD-Metrik eine robuste, referenzfreie Bewertung der Kontextkonsistenz und Objekthalluzination und setzt damit einen neuen Maßstab für hochwertige Bildbearbeitung. Projektseite: https://yeates.github.io/OmniPaint-Page/

English

Diffusion-based generative models have revolutionized object-oriented image editing, yet their deployment in realistic object removal and insertion remains hampered by challenges such as the intricate interplay of physical effects and insufficient paired training data. In this work, we introduce OmniPaint, a unified framework that re-conceptualizes object removal and insertion as interdependent processes rather than isolated tasks. Leveraging a pre-trained diffusion prior along with a progressive training pipeline comprising initial paired sample optimization and subsequent large-scale unpaired refinement via CycleFlow, OmniPaint achieves precise foreground elimination and seamless object insertion while faithfully preserving scene geometry and intrinsic properties. Furthermore, our novel CFD metric offers a robust, reference-free evaluation of context consistency and object hallucination, establishing a new benchmark for high-fidelity image editing. Project page: https://yeates.github.io/OmniPaint-Page/