MagicQuill: Een Intelligent Interactief Beeldbewerkingssysteem

MagicQuill: An Intelligent Interactive Image Editing System

November 14, 2024

Auteurs: Zichen Liu, Yue Yu, Hao Ouyang, Qiuyu Wang, Ka Leong Cheng, Wen Wang, Zhiheng Liu, Qifeng Chen, Yujun Shen

cs.AI

Samenvatting

Beeldbewerking omvat een verscheidenheid aan complexe taken en vereist efficiënte en nauwkeurige manipulatietechnieken. In dit artikel presenteren we MagicQuill, een geïntegreerd beeldbewerkingssysteem dat een snelle realisatie van creatieve ideeën mogelijk maakt. Ons systeem beschikt over een gestroomlijnde maar functioneel robuuste interface, waardoor de articulatie van bewerkingen (bijv. het invoegen van elementen, het wissen van objecten, het veranderen van kleur) met minimale invoer mogelijk is. Deze interacties worden gemonitord door een multimodaal groot taalmodel (MLLM) om bewerkingsintenties in realtime te anticiperen, waardoor de noodzaak voor expliciete promptinvoer wordt omzeild. Ten slotte passen we een krachtige diffusieprior toe, versterkt door een zorgvuldig geleerd tweearmig plug-in module, om bewerkingsverzoeken met nauwkeurige controle te verwerken. Experimentele resultaten tonen de effectiviteit van MagicQuill aan bij het bereiken van hoogwaardige beeldbewerkingen. Bezoek alstublieft https://magic-quill.github.io om ons systeem uit te proberen.

English

Image editing involves a variety of complex tasks and requires efficient and precise manipulation techniques. In this paper, we present MagicQuill, an integrated image editing system that enables swift actualization of creative ideas. Our system features a streamlined yet functionally robust interface, allowing for the articulation of editing operations (e.g., inserting elements, erasing objects, altering color) with minimal input. These interactions are monitored by a multimodal large language model (MLLM) to anticipate editing intentions in real time, bypassing the need for explicit prompt entry. Finally, we apply a powerful diffusion prior, enhanced by a carefully learned two-branch plug-in module, to process editing requests with precise control. Experimental results demonstrate the effectiveness of MagicQuill in achieving high-quality image edits. Please visit https://magic-quill.github.io to try out our system.