De Elementos ao Design: Uma Abordagem em Camadas para Design Gráfico Automático Composição

From Elements to Design: A Layered Approach for Automatic Graphic Design Composition

December 27, 2024

Autores: Jiawei Lin, Shizhao Sun, Danqing Huang, Ting Liu, Ji Li, Jiang Bian

cs.AI

Resumo

Neste trabalho, investigamos a composição automática de design a partir de elementos gráficos multimodais. Embora estudos recentes tenham desenvolvido vários modelos generativos para design gráfico, geralmente enfrentam as seguintes limitações: eles se concentram apenas em determinadas subtarefas e estão longe de alcançar a tarefa de composição de design; não consideram as informações hierárquicas dos designs gráficos durante o processo de geração. Para lidar com essas questões, introduzimos o princípio do design em camadas nos Modelos Multimodais Grandes (LMMs) e propomos uma abordagem inovadora, chamada LaDeCo, para realizar essa tarefa desafiadora. Especificamente, LaDeCo primeiro realiza o planejamento em camadas para um conjunto de elementos dado, dividindo os elementos de entrada em diferentes camadas semânticas de acordo com seus conteúdos. Com base nos resultados do planejamento, prevê subsequentemente atributos de elementos que controlam a composição do design de maneira em camadas e inclui a imagem renderizada das camadas geradas anteriormente no contexto. Com esse design perspicaz, LaDeCo decompõe a tarefa difícil em etapas menores e gerenciáveis, tornando o processo de geração mais suave e claro. Os resultados experimentais demonstram a eficácia do LaDeCo na composição de design. Além disso, mostramos que o LaDeCo possibilita algumas aplicações interessantes no design gráfico, como ajuste de resolução, preenchimento de elementos, variação de design, etc. Além disso, ele supera até mesmo os modelos especializados em algumas subtarefas de design sem nenhum treinamento específico da tarefa.

English

In this work, we investigate automatic design composition from multimodal graphic elements. Although recent studies have developed various generative models for graphic design, they usually face the following limitations: they only focus on certain subtasks and are far from achieving the design composition task; they do not consider the hierarchical information of graphic designs during the generation process. To tackle these issues, we introduce the layered design principle into Large Multimodal Models (LMMs) and propose a novel approach, called LaDeCo, to accomplish this challenging task. Specifically, LaDeCo first performs layer planning for a given element set, dividing the input elements into different semantic layers according to their contents. Based on the planning results, it subsequently predicts element attributes that control the design composition in a layer-wise manner, and includes the rendered image of previously generated layers into the context. With this insightful design, LaDeCo decomposes the difficult task into smaller manageable steps, making the generation process smoother and clearer. The experimental results demonstrate the effectiveness of LaDeCo in design composition. Furthermore, we show that LaDeCo enables some interesting applications in graphic design, such as resolution adjustment, element filling, design variation, etc. In addition, it even outperforms the specialized models in some design subtasks without any task-specific training.