액체: 연속 토큰을 사용한 자기회귀 텍스트-이미지 생성 모델의 확장

Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens

October 17, 2024

저자: Lijie Fan, Tianhong Li, Siyang Qin, Yuanzhen Li, Chen Sun, Michael Rubinstein, Deqing Sun, Kaiming He, Yonglong Tian

cs.AI

초록

시각에서 자기회귀 모델의 확장은 대규모 언어 모델만큼 유익하지 않았습니다. 본 연구에서는 텍스트-이미지 생성의 맥락에서 이 확장 문제를 조사하며, 모델이 이산 또는 연속 토큰을 사용하는지, 그리고 BERT 또는 GPT와 유사한 트랜스포머 아키텍처를 사용하여 토큰이 무작위로 생성되는지 또는 고정된 래스터 순서로 생성되는지라는 두 가지 중요한 요소에 초점을 맞춥니다. 우리의 경험적 결과는 모든 모델이 검증 손실 측면에서 효과적으로 확장되지만, 평가 성능은 FID, GenEval 점수 및 시각적 품질로 측정되며 다른 추세를 보입니다. 연속 토큰을 기반으로 한 모델은 이산 토큰을 사용하는 모델보다 상당히 더 나은 시각적 품질을 달성합니다. 또한 생성 순서와 주의 메커니즘은 GenEval 점수에 상당한 영향을 미칩니다. 무작위 순서 모델은 래스터 순서 모델에 비해 현저히 더 좋은 GenEval 점수를 달성합니다. 이러한 발견을 바탕으로, 우리는 연속 토큰에 대해 무작위 순서의 자기회귀 모델인 Fluid를 훈련시켰습니다. Fluid 10.5B 모델은 MS-COCO 30K에서 6.16의 새로운 최고 수준의 제로샷 FID를 달성하고, GenEval 벤치마크에서 전체 점수 0.69를 기록했습니다. 우리의 발견과 결과가 시각과 언어 모델 간의 확장 격차를 좀 더 좁히기 위한 미래 노력을 촉진할 것으로 기대합니다.

English

Scaling up autoregressive models in vision has not proven as beneficial as in large language models. In this work, we investigate this scaling problem in the context of text-to-image generation, focusing on two critical factors: whether models use discrete or continuous tokens, and whether tokens are generated in a random or fixed raster order using BERT- or GPT-like transformer architectures. Our empirical results show that, while all models scale effectively in terms of validation loss, their evaluation performance -- measured by FID, GenEval score, and visual quality -- follows different trends. Models based on continuous tokens achieve significantly better visual quality than those using discrete tokens. Furthermore, the generation order and attention mechanisms significantly affect the GenEval score: random-order models achieve notably better GenEval scores compared to raster-order models. Inspired by these findings, we train Fluid, a random-order autoregressive model on continuous tokens. Fluid 10.5B model achieves a new state-of-the-art zero-shot FID of 6.16 on MS-COCO 30K, and 0.69 overall score on the GenEval benchmark. We hope our findings and results will encourage future efforts to further bridge the scaling gap between vision and language models.