ILLUME: LLM을 비추어 보고, 그리고 자가 향상시키는 것

ILLUME: Illuminating Your LLMs to See, Draw, and Self-Enhance

December 9, 2024

저자: Chunwei Wang, Guansong Lu, Junwei Yang, Runhui Huang, Jianhua Han, Lu Hou, Wei Zhang, Hang Xu

cs.AI

초록

본 논문에서는 ILLUME을 소개합니다. ILLUME은 통합된 다중 모달 대형 언어 모델(MLLM)로, 통합된 다음 토큰 예측 공식을 통해 다중 모달 이해 및 생성 기능을 원활하게 통합합니다. 이미지-텍스트 정렬에 typcially 필요한 대규모 데이터셋 크기를 해결하기 위해 시맨틱 정보를 통합하는 비전 토크나이저와 점진적 다단계 훈련 절차를 통해 데이터 효율성을 향상하는 것을 제안합니다. 이 접근 방식은 사전 훈련을 위한 데이터셋 크기를 일반적으로 필요한 것보다 4배 이상 적은 15M으로 줄이면서도 기존의 Janus와 같은 통합 MLLM과 경쟁력 있는 또는 우수한 성능을 달성합니다. 또한, 이전 연구에서 미처 탐구되지 않은 이해 및 생성 기능 간의 상호 작용을 촉진하기 위해 자가 강화 다중 모달 정렬 체계를 소개합니다. 이 체계는 MLLM이 텍스트 설명과 자체 생성 이미지 간의 일관성을 자가 평가하도록 지도하여 모델이 이미지를 더 정확하게 해석하고 이미지 생성의 불일치로 인한 비현실적이고 잘못된 예측을 피하도록 돕습니다. 광범위한 실험을 기반으로, 우리의 제안된 ILLUME은 다양한 다중 모달 이해, 생성 및 편집 벤치마크에서 최첨단 통합 MLLM 및 전문 모델과 경쟁하며 두드러지는 성과를 보입니다.

English

In this paper, we introduce ILLUME, a unified multimodal large language model (MLLM) that seamlessly integrates multimodal understanding and generation capabilities within a single large language model through a unified next-token prediction formulation. To address the large dataset size typically required for image-text alignment, we propose to enhance data efficiency through the design of a vision tokenizer that incorporates semantic information and a progressive multi-stage training procedure. This approach reduces the dataset size to just 15M for pretraining -- over four times fewer than what is typically needed -- while achieving competitive or even superior performance with existing unified MLLMs, such as Janus. Additionally, to promote synergistic enhancement between understanding and generation capabilities, which is under-explored in previous works, we introduce a novel self-enhancing multimodal alignment scheme. This scheme supervises the MLLM to self-assess the consistency between text descriptions and self-generated images, facilitating the model to interpret images more accurately and avoid unrealistic and incorrect predictions caused by misalignment in image generation. Based on extensive experiments, our proposed ILLUME stands out and competes with state-of-the-art unified MLLMs and specialized models across various benchmarks for multimodal understanding, generation, and editing.