MagicQuill: Ein intelligentes interaktives Bildbearbeitungssystem

MagicQuill: An Intelligent Interactive Image Editing System

November 14, 2024

Autoren: Zichen Liu, Yue Yu, Hao Ouyang, Qiuyu Wang, Ka Leong Cheng, Wen Wang, Zhiheng Liu, Qifeng Chen, Yujun Shen

cs.AI

Zusammenfassung

Die Bildbearbeitung umfasst eine Vielzahl komplexer Aufgaben und erfordert effiziente und präzise Manipulationstechniken. In diesem Artikel präsentieren wir MagicQuill, ein integriertes Bildbearbeitungssystem, das eine schnelle Umsetzung kreativer Ideen ermöglicht. Unser System verfügt über eine schlankes, aber funktional robustes Benutzeroberfläche, die die Artikulation von Bearbeitungsvorgängen (z. B. das Einfügen von Elementen, das Löschen von Objekten, das Ändern von Farben) mit minimalem Aufwand ermöglicht. Diese Interaktionen werden von einem multimodalen großen Sprachmodell (MLLM) überwacht, um Bearbeitungsabsichten in Echtzeit vorherzusehen, ohne dass eine explizite Eingabeaufforderung erforderlich ist. Schließlich wenden wir einen leistungsstarken Diffusionsprior an, der durch ein sorgfältig erlerntes Zwei-Zweig-Plug-in-Modul verbessert wird, um Bearbeitungsanfragen mit präziser Steuerung zu verarbeiten. Experimentelle Ergebnisse zeigen die Wirksamkeit von MagicQuill bei der Erzielung hochwertiger Bildbearbeitungen. Besuchen Sie bitte https://magic-quill.github.io, um unser System auszuprobieren.

English

Image editing involves a variety of complex tasks and requires efficient and precise manipulation techniques. In this paper, we present MagicQuill, an integrated image editing system that enables swift actualization of creative ideas. Our system features a streamlined yet functionally robust interface, allowing for the articulation of editing operations (e.g., inserting elements, erasing objects, altering color) with minimal input. These interactions are monitored by a multimodal large language model (MLLM) to anticipate editing intentions in real time, bypassing the need for explicit prompt entry. Finally, we apply a powerful diffusion prior, enhanced by a carefully learned two-branch plug-in module, to process editing requests with precise control. Experimental results demonstrate the effectiveness of MagicQuill in achieving high-quality image edits. Please visit https://magic-quill.github.io to try out our system.