Dagli Elementi al Design: Un Approccio Stratificato per il Design Grafico Automatico Composizione

From Elements to Design: A Layered Approach for Automatic Graphic Design Composition

December 27, 2024

Autori: Jiawei Lin, Shizhao Sun, Danqing Huang, Ting Liu, Ji Li, Jiang Bian

cs.AI

Abstract

In questo lavoro, investighiamo la composizione automatica di design da elementi grafici multimodali. Anche se studi recenti hanno sviluppato vari modelli generativi per il design grafico, solitamente si trovano ad affrontare le seguenti limitazioni: si concentrano solo su determinate sottoattività e sono lontani dal raggiungere il compito di composizione del design; non considerano le informazioni gerarchiche dei design grafici durante il processo di generazione. Per affrontare questi problemi, introduciamo il principio del design stratificato nei Grandi Modelli Multimodali (LMMs) e proponiamo un nuovo approccio, chiamato LaDeCo, per portare a termine questo compito impegnativo. In particolare, LaDeCo pianifica inizialmente i livelli per un insieme di elementi dato, dividendo gli elementi di input in diversi livelli semantici in base ai loro contenuti. Sulla base dei risultati della pianificazione, predice successivamente gli attributi degli elementi che controllano la composizione del design in modo stratificato e include l'immagine renderizzata dei livelli precedentemente generati nel contesto. Con questo design illuminante, LaDeCo scompone il compito difficile in passaggi più gestibili, rendendo il processo di generazione più fluido e chiaro. I risultati sperimentali dimostrano l'efficacia di LaDeCo nella composizione del design. Inoltre, mostriamo che LaDeCo consente alcune interessanti applicazioni nel design grafico, come l'aggiustamento della risoluzione, il riempimento degli elementi, la variazione del design, ecc. Inoltre, supera addirittura i modelli specializzati in alcune sottoattività di design senza alcun addestramento specifico per il compito.

English

In this work, we investigate automatic design composition from multimodal graphic elements. Although recent studies have developed various generative models for graphic design, they usually face the following limitations: they only focus on certain subtasks and are far from achieving the design composition task; they do not consider the hierarchical information of graphic designs during the generation process. To tackle these issues, we introduce the layered design principle into Large Multimodal Models (LMMs) and propose a novel approach, called LaDeCo, to accomplish this challenging task. Specifically, LaDeCo first performs layer planning for a given element set, dividing the input elements into different semantic layers according to their contents. Based on the planning results, it subsequently predicts element attributes that control the design composition in a layer-wise manner, and includes the rendered image of previously generated layers into the context. With this insightful design, LaDeCo decomposes the difficult task into smaller manageable steps, making the generation process smoother and clearer. The experimental results demonstrate the effectiveness of LaDeCo in design composition. Furthermore, we show that LaDeCo enables some interesting applications in graphic design, such as resolution adjustment, element filling, design variation, etc. In addition, it even outperforms the specialized models in some design subtasks without any task-specific training.