要素からデザインへ：自動グラフィックデザインのための階層アプローチ 構成

From Elements to Design: A Layered Approach for Automatic Graphic Design Composition

December 27, 2024

著者: Jiawei Lin, Shizhao Sun, Danqing Huang, Ting Liu, Ji Li, Jiang Bian

cs.AI

要旨

本研究では、複数モーダルのグラフィック要素からの自動設計構成について調査します。最近の研究では、グラフィックデザインのためのさまざまな生成モデルが開発されてきましたが、通常、次の制限に直面しています：特定のサブタスクに焦点を当て、設計構成タスクを達成するには程遠いこと。また、生成プロセス中にグラフィックデザインの階層情報を考慮していません。これらの問題に対処するために、レイヤー設計原則を大規模多モーダルモデル（LMMs）に導入し、この難しいタスクを達成するための新しいアプローチ、LaDeCoを提案します。具体的には、LaDeCoはまず、与えられた要素セットに対してレイヤープランニングを行い、入力要素を内容に応じて異なる意味的レイヤーに分割します。計画結果に基づいて、それぞれのレイヤーにおいて設計構成を制御する要素属性を予測し、以前に生成されたレイヤーのレンダリング画像をコンテキストに含めます。この洞察に基づく設計により、LaDeCoは困難なタスクをより管理しやすいステップに分解し、生成プロセスをスムーズかつ明確にします。実験結果は、LaDeCoの設計構成における効果を示しています。さらに、LaDeCoが解像度調整、要素の充填、デザインの変更など、グラフィックデザインにおけるいくつかの興味深いアプリケーションを可能にし、タスク固有のトレーニングなしに一部のデザインサブタスクで専門モデルを上回ることを示しています。

English

In this work, we investigate automatic design composition from multimodal graphic elements. Although recent studies have developed various generative models for graphic design, they usually face the following limitations: they only focus on certain subtasks and are far from achieving the design composition task; they do not consider the hierarchical information of graphic designs during the generation process. To tackle these issues, we introduce the layered design principle into Large Multimodal Models (LMMs) and propose a novel approach, called LaDeCo, to accomplish this challenging task. Specifically, LaDeCo first performs layer planning for a given element set, dividing the input elements into different semantic layers according to their contents. Based on the planning results, it subsequently predicts element attributes that control the design composition in a layer-wise manner, and includes the rendered image of previously generated layers into the context. With this insightful design, LaDeCo decomposes the difficult task into smaller manageable steps, making the generation process smoother and clearer. The experimental results demonstrate the effectiveness of LaDeCo in design composition. Furthermore, we show that LaDeCo enables some interesting applications in graphic design, such as resolution adjustment, element filling, design variation, etc. In addition, it even outperforms the specialized models in some design subtasks without any task-specific training.