SwiftEdit: 일단 퍼짐을 통한 번개처럼 빠른 텍스트 안내 이미지 편집

SwiftEdit: Lightning Fast Text-Guided Image Editing via One-Step Diffusion

December 5, 2024

저자: Trong-Tung Nguyen, Quang Nguyen, Khoi Nguyen, Anh Tran, Cuong Pham

cs.AI

초록

최근 텍스트 안내 이미지 편집의 발전으로 사용자는 간단한 텍스트 입력을 통해 이미지 편집을 수행할 수 있게 되었습니다. 이는 다단계 확산 기반 텍스트-이미지 모델의 광범위한 사전을 활용합니다. 그러나 이러한 방법들은 종종 실제 환경 및 장치용 애플리케이션에서 요구되는 속도 요구를 충족시키지 못하는데, 이는 비용이 많이 드는 다단계 역전 및 샘플링 과정으로 인한 것입니다. 이에 대응하여 우리는 SwiftEdit를 소개합니다. 이는 간단하면서도 매우 효율적인 편집 도구로, 즉각적인 텍스트 안내 이미지 편집을 실현합니다(0.23초). SwiftEdit의 발전은 두 가지의 혁신적인 기여점에 있습니다: 역전을 통해 일단계 이미지 재구성을 가능케 하는 일단계 역전 프레임워크 및 우리가 제안하는 주의력 재조정 메커니즘을 활용한 마스크 안내 편집 기술을 통해 지역화된 이미지 편집을 수행합니다. SwiftEdit의 효과와 효율성을 증명하기 위해 포괄적인 실험이 제공됩니다. 특히, SwiftEdit는 이전 다단계 방법보다 훨씬 빠른 속도로 즉각적인 텍스트 안내 이미지 편집을 가능케 하며(최소 50배 빠름), 편집 결과에서 경쟁력 있는 성능을 유지합니다. 저희 프로젝트 페이지는 다음에서 확인하실 수 있습니다: https://swift-edit.github.io/

English

Recent advances in text-guided image editing enable users to perform image edits through simple text inputs, leveraging the extensive priors of multi-step diffusion-based text-to-image models. However, these methods often fall short of the speed demands required for real-world and on-device applications due to the costly multi-step inversion and sampling process involved. In response to this, we introduce SwiftEdit, a simple yet highly efficient editing tool that achieve instant text-guided image editing (in 0.23s). The advancement of SwiftEdit lies in its two novel contributions: a one-step inversion framework that enables one-step image reconstruction via inversion and a mask-guided editing technique with our proposed attention rescaling mechanism to perform localized image editing. Extensive experiments are provided to demonstrate the effectiveness and efficiency of SwiftEdit. In particular, SwiftEdit enables instant text-guided image editing, which is extremely faster than previous multi-step methods (at least 50 times faster) while maintain a competitive performance in editing results. Our project page is at: https://swift-edit.github.io/