요소로부터 디자인으로: 자동 그래픽 디자인을 위한 계층적 접근 방식 구성

From Elements to Design: A Layered Approach for Automatic Graphic Design Composition

December 27, 2024

저자: Jiawei Lin, Shizhao Sun, Danqing Huang, Ting Liu, Ji Li, Jiang Bian

cs.AI

초록

본 연구에서는 다중 모달 그래픽 요소로부터의 자동 디자인 구성을 조사합니다. 최근 연구들은 그래픽 디자인을 위한 다양한 생성 모델을 개발해왔지만, 일반적으로 다음과 같은 제한에 직면합니다: 특정 하위 작업에만 초점을 맞추며 디자인 구성 작업을 달성하기에는 멀었습니다. 또한 생성 과정 중에 그래픽 디자인의 계층적 정보를 고려하지 않습니다. 이러한 문제를 해결하기 위해 우리는 계층적 디자인 원칙을 대규모 다모달 모델(LMMs)에 도입하고 이 어려운 작업을 수행하기 위한 새로운 방법인 LaDeCo를 제안합니다. 구체적으로, LaDeCo는 먼저 주어진 요소 집합에 대한 계층 계획을 수행하여 입력 요소를 내용에 따라 다른 의미적 계층으로 분할합니다. 계획 결과를 바탕으로, LaDeCo는 계층별로 디자인 구성을 제어하는 요소 속성을 예측하고 이전에 생성된 계층의 렌더링된 이미지를 컨텍스트에 포함합니다. 이러한 통찰력 있는 디자인을 통해 LaDeCo는 어려운 작업을 더 작고 관리하기 쉬운 단계로 분해하여 생성 과정을 더 부드럽고 명확하게 만듭니다. 실험 결과는 LaDeCo의 디자인 구성에서의 효과를 입증합니다. 더 나아가, LaDeCo가 해상도 조정, 요소 채우기, 디자인 변형 등 그래픽 디자인에서 흥미로운 응용 프로그램을 가능하게 하며, 작업 특정 훈련 없이 일부 디자인 하위 작업에서 전문 모델을 능가하는 것을 보여줍니다.

English

In this work, we investigate automatic design composition from multimodal graphic elements. Although recent studies have developed various generative models for graphic design, they usually face the following limitations: they only focus on certain subtasks and are far from achieving the design composition task; they do not consider the hierarchical information of graphic designs during the generation process. To tackle these issues, we introduce the layered design principle into Large Multimodal Models (LMMs) and propose a novel approach, called LaDeCo, to accomplish this challenging task. Specifically, LaDeCo first performs layer planning for a given element set, dividing the input elements into different semantic layers according to their contents. Based on the planning results, it subsequently predicts element attributes that control the design composition in a layer-wise manner, and includes the rendered image of previously generated layers into the context. With this insightful design, LaDeCo decomposes the difficult task into smaller manageable steps, making the generation process smoother and clearer. The experimental results demonstrate the effectiveness of LaDeCo in design composition. Furthermore, we show that LaDeCo enables some interesting applications in graphic design, such as resolution adjustment, element filling, design variation, etc. In addition, it even outperforms the specialized models in some design subtasks without any task-specific training.