Illustrious: 공개형 고급 일러스트레이션 모델

Illustrious: an Open Advanced Illustration Model

September 30, 2024

저자: Sang Hyun Park, Jun Young Koh, Junha Lee, Joy Song, Dongha Kim, Hoyeon Moon, Hyunju Lee, Min Song

cs.AI

초록

본 연구에서는 Illustrious라고 불리는 텍스트-이미지 애니메이션 이미지 생성 모델에서 최첨단 품질을 달성하기 위한 통찰을 공유합니다. 고해상도, 동적 색상 범위 이미지 및 높은 복원 능력을 달성하기 위해 모델 개선을 위한 세 가지 중요한 방법에 초점을 맞추었습니다. 첫째, 배치 크기와 드롭아웃 제어의 중요성을 탐구하여, 조절 가능한 토큰 기반 개념 활성화의 빠른 학습을 가능하게 합니다. 둘째, 이미지의 훈련 해상도를 높여 캐릭터 해부의 정확한 묘사에 영향을 미치며, 적절한 방법을 통해 20MP 이상의 생성 능력을 확장합니다. 마지막으로, 모델 개발에 있어 중요한 요소로 다양한 자연어 캡션과 모든 태그를 다루는 정교한 다중 수준 캡션을 제안합니다. 철저한 분석과 실험을 통해, Illustrious는 애니메이션 스타일 측면에서 최첨단 성능을 나타내며, 일러스트레이션 분야에서 널리 사용되는 모델들을 능가하여 오픈 소스의 성격으로 쉬운 사용자 정의 및 개인화를 촉진합니다. 우리는 Illustrious 모델 시리즈를 순차적으로 업데이트하여 지속 가능한 개선 계획을 공개할 계획입니다.

English

In this work, we share the insights for achieving state-of-the-art quality in our text-to-image anime image generative model, called Illustrious. To achieve high resolution, dynamic color range images, and high restoration ability, we focus on three critical approaches for model improvement. First, we delve into the significance of the batch size and dropout control, which enables faster learning of controllable token based concept activations. Second, we increase the training resolution of images, affecting the accurate depiction of character anatomy in much higher resolution, extending its generation capability over 20MP with proper methods. Finally, we propose the refined multi-level captions, covering all tags and various natural language captions as a critical factor for model development. Through extensive analysis and experiments, Illustrious demonstrates state-of-the-art performance in terms of animation style, outperforming widely-used models in illustration domains, propelling easier customization and personalization with nature of open source. We plan to publicly release updated Illustrious model series sequentially as well as sustainable plans for improvements.