DreamMix: 사용자 지정 이미지 보정에서 향상된 편집 가능성을 위해 객체 속성을 분리하는 방법

초록

주체 주도 이미지 인페인팅은 확산 모델의 최근 발전과 함께 이미지 편집에서 인기 있는 작업으로 부상했다. 이전 방법들은 주로 정체성 보존에 초점을 맞추었지만 삽입된 객체의 편집 가능성을 유지하는 데 어려움을 겪었다. 이에 본 논문에서는 주어진 장면에 대상 객체를 사용자가 지정한 위치에 삽입하면서 동시에 그 속성에 대한 임의의 텍스트 기반 수정을 가능하게 하는 DreamMix를 소개한다. 특히, 우리는 고급 기반 인페인팅 모델을 활용하고 정확한 지역 객체 삽입과 효과적인 전역 시각 일관성을 균형 있게 유지하기 위해 이산화된 지역-전역 인페인팅 프레임워크를 도입한다. 게다가, 우리는 속성 분리 메커니즘(ADM)과 텍스트 기반 속성 대체(TAS) 모듈을 제안하여 텍스트 기반 속성 가이드의 다양성과 식별 능력을 향상시킨다. 광범위한 실험 결과 DreamMix가 객체 삽입, 속성 편집 및 작은 객체 인페인팅을 포함한 다양한 응용 시나리오에서 효과적으로 정체성 보존과 속성 편집 가능성을 균형 있게 유지함을 입증한다. 우리의 코드는 https://github.com/mycfhs/DreamMix에서 공개되어 있다.

English

Subject-driven image inpainting has emerged as a popular task in image editing alongside recent advancements in diffusion models. Previous methods primarily focus on identity preservation but struggle to maintain the editability of inserted objects. In response, this paper introduces DreamMix, a diffusion-based generative model adept at inserting target objects into given scenes at user-specified locations while concurrently enabling arbitrary text-driven modifications to their attributes. In particular, we leverage advanced foundational inpainting models and introduce a disentangled local-global inpainting framework to balance precise local object insertion with effective global visual coherence. Additionally, we propose an Attribute Decoupling Mechanism (ADM) and a Textual Attribute Substitution (TAS) module to improve the diversity and discriminative capability of the text-based attribute guidance, respectively. Extensive experiments demonstrate that DreamMix effectively balances identity preservation and attribute editability across various application scenarios, including object insertion, attribute editing, and small object inpainting. Our code is publicly available at https://github.com/mycfhs/DreamMix.

DreamMix: 사용자 지정 이미지 보정에서 향상된 편집 가능성을 위해 객체 속성을 분리하는 방법

DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting

초록

Summary

Support