MagicQuill: Un Sistema Inteligente de Edición de Imágenes Interactivo

MagicQuill: An Intelligent Interactive Image Editing System

November 14, 2024

Autores: Zichen Liu, Yue Yu, Hao Ouyang, Qiuyu Wang, Ka Leong Cheng, Wen Wang, Zhiheng Liu, Qifeng Chen, Yujun Shen

cs.AI

Resumen

La edición de imágenes implica una variedad de tareas complejas y requiere técnicas de manipulación eficientes y precisas. En este artículo, presentamos MagicQuill, un sistema integrado de edición de imágenes que permite la rápida realización de ideas creativas. Nuestro sistema cuenta con una interfaz simplificada pero funcionalmente robusta, que permite la articulación de operaciones de edición (por ejemplo, inserción de elementos, borrado de objetos, alteración de color) con una entrada mínima. Estas interacciones son monitoreadas por un modelo de lenguaje multimodal grande (MLLM) para anticipar las intenciones de edición en tiempo real, evitando la necesidad de una entrada explícita de comandos. Finalmente, aplicamos un potente prior de difusión, mejorado por un módulo de complemento de dos ramas cuidadosamente aprendido, para procesar solicitudes de edición con un control preciso. Los resultados experimentales demuestran la efectividad de MagicQuill en lograr ediciones de imágenes de alta calidad. Por favor, visite https://magic-quill.github.io para probar nuestro sistema.

English

Image editing involves a variety of complex tasks and requires efficient and precise manipulation techniques. In this paper, we present MagicQuill, an integrated image editing system that enables swift actualization of creative ideas. Our system features a streamlined yet functionally robust interface, allowing for the articulation of editing operations (e.g., inserting elements, erasing objects, altering color) with minimal input. These interactions are monitored by a multimodal large language model (MLLM) to anticipate editing intentions in real time, bypassing the need for explicit prompt entry. Finally, we apply a powerful diffusion prior, enhanced by a carefully learned two-branch plug-in module, to process editing requests with precise control. Experimental results demonstrate the effectiveness of MagicQuill in achieving high-quality image edits. Please visit https://magic-quill.github.io to try out our system.