SynerGen-VL: 시각 전문가와 토큰 폴딩을 활용한 상호 작용적 이미지 이해 및 생성을 향하여

SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

December 12, 2024

저자: Hao Li, Changyao Tian, Jie Shao, Xizhou Zhu, Zhaokai Wang, Jinguo Zhu, Wenhan Dou, Xiaogang Wang, Hongsheng Li, Lewei Lu, Jifeng Dai

cs.AI

초록

대형 언어 모델(LLMs)의 놀라운 성공은 다중 모달 영역으로 확장되어 이미지 이해 및 생성에서 우수한 성능을 달성했습니다. 이러한 능력을 통합하는 통합된 다중 모달 대형 언어 모델(MLLMs)을 개발하기 위한 최근 노력은 유망한 결과를 보여주고 있습니다. 그러나 기존 접근 방식은 종종 모델 아키텍처나 훈련 파이프라인에서 복잡한 설계를 포함하여 모델 훈련과 확장의 어려움을 증가시킵니다. 본 논문에서는 이미지 이해와 생성이 모두 가능한 간단하면서도 강력한 인코더 없는 MLLM인 SynerGen-VL을 제안합니다. 기존 인코더 없는 통합된 MLLMs에서 식별된 과제를 해결하기 위해 토큰 접힘 메커니즘과 비전 전문가 기반의 점진적 정렬 사전 훈련 전략을 소개하여 훈련 복잡성을 줄이면서 고해상도 이미지 이해를 효과적으로 지원합니다. 통합된 다음 토큰 예측 목표로 대규모 혼합 이미지-텍스트 데이터로 훈련된 후, SynerGen-VL은 기존 인코더 없는 통합된 MLLMs의 성능을 도달하거나 뛰어넘으며, 비교적 작거나 유사한 매개변수 크기로 작업별 최첨단 모델과의 격차를 줄이며, 미래 통합된 MLLMs로 나아가는 유망한 길을 강조합니다. 우리의 코드와 모델은 공개될 예정입니다.

English

The remarkable success of Large Language Models (LLMs) has extended to the multimodal domain, achieving outstanding performance in image understanding and generation. Recent efforts to develop unified Multimodal Large Language Models (MLLMs) that integrate these capabilities have shown promising results. However, existing approaches often involve complex designs in model architecture or training pipeline, increasing the difficulty of model training and scaling. In this paper, we propose SynerGen-VL, a simple yet powerful encoder-free MLLM capable of both image understanding and generation. To address challenges identified in existing encoder-free unified MLLMs, we introduce the token folding mechanism and the vision-expert-based progressive alignment pretraining strategy, which effectively support high-resolution image understanding while reducing training complexity. After being trained on large-scale mixed image-text data with a unified next-token prediction objective, SynerGen-VL achieves or surpasses the performance of existing encoder-free unified MLLMs with comparable or smaller parameter sizes, and narrows the gap with task-specific state-of-the-art models, highlighting a promising path toward future unified MLLMs. Our code and models shall be released.