MagicQuill: Un Sistema Intelligente Interattivo per la Modifica delle Immagini

MagicQuill: An Intelligent Interactive Image Editing System

November 14, 2024

Autori: Zichen Liu, Yue Yu, Hao Ouyang, Qiuyu Wang, Ka Leong Cheng, Wen Wang, Zhiheng Liu, Qifeng Chen, Yujun Shen

cs.AI

Abstract

La modifica delle immagini comporta una varietà di compiti complessi e richiede tecniche di manipolazione efficienti e precise. In questo articolo, presentiamo MagicQuill, un sistema integrato di modifica delle immagini che consente la rapida realizzazione di idee creative. Il nostro sistema presenta un'interfaccia snella ma funzionalmente robusta, che permette l'articolazione delle operazioni di modifica (ad esempio, l'inserimento di elementi, la cancellazione di oggetti, l'alterazione del colore) con un input minimo. Queste interazioni sono monitorate da un modello di linguaggio multimodale di grandi dimensioni (MLLM) per anticipare le intenzioni di modifica in tempo reale, evitando la necessità di inserire esplicitamente un prompt. Infine, applichiamo una potente priorità di diffusione, potenziata da un modulo plug-in a due rami appreso con cura, per elaborare le richieste di modifica con un controllo preciso. I risultati sperimentali dimostrano l'efficacia di MagicQuill nel realizzare modifiche di immagini di alta qualità. Visita https://magic-quill.github.io per provare il nostro sistema.

English

Image editing involves a variety of complex tasks and requires efficient and precise manipulation techniques. In this paper, we present MagicQuill, an integrated image editing system that enables swift actualization of creative ideas. Our system features a streamlined yet functionally robust interface, allowing for the articulation of editing operations (e.g., inserting elements, erasing objects, altering color) with minimal input. These interactions are monitored by a multimodal large language model (MLLM) to anticipate editing intentions in real time, bypassing the need for explicit prompt entry. Finally, we apply a powerful diffusion prior, enhanced by a carefully learned two-branch plug-in module, to process editing requests with precise control. Experimental results demonstrate the effectiveness of MagicQuill in achieving high-quality image edits. Please visit https://magic-quill.github.io to try out our system.