SANA 1.5: 선형 확산 트랜스포머에서 효율적인 학습 및 추론 시간 계산 확장

SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer

January 30, 2025

저자: Enze Xie, Junsong Chen, Yuyang Zhao, Jincheng Yu, Ligeng Zhu, Yujun Lin, Zhekai Zhang, Muyang Li, Junyu Chen, Han Cai, Bingchen Liu, Daquan Zhou, Song Han

cs.AI

초록

본 논문은 효율적인 텍스트-이미지 생성을 위한 선형 확산 트랜스포머인 SANA-1.5를 제시합니다. SANA-1.0을 기반으로 하여 세 가지 주요 혁신을 소개합니다: (1) 효율적인 훈련 스케일링: 1.6B에서 4.8B 파라미터로의 스케일링을 가능하게 하는 깊이 증가 패러다임으로, 계산 자원을 크게 줄인 것과 메모리 효율적인 8비트 옵티마이저를 결합합니다. (2) 모델 깊이 가지치기: 임의의 크기로의 효율적인 모델 압축을 위한 블록 중요도 분석 기술로, 최소한의 품질 손실로 모델을 압축합니다. (3) 추론 시 스케일링: 계산량 대신 모델 용량을 교환하는 반복 샘플링 전략으로, 작은 모델이 추론 시 큰 모델 품질과 일치하도록 합니다. 이러한 전략을 통해 SANA-1.5는 GenEval에서 0.72의 텍스트-이미지 정렬 점수를 달성하며, 추론 스케일링을 통해 0.80까지 개선할 수 있어 GenEval 벤치마크에서 새로운 SoTA를 수립합니다. 이러한 혁신은 높은 품질을 유지하면서 다양한 계산 예산에서 효율적인 모델 스케일링을 가능케 하여, 고품질 이미지 생성을 보다 접근 가능하게 합니다.

English

This paper presents SANA-1.5, a linear Diffusion Transformer for efficient scaling in text-to-image generation. Building upon SANA-1.0, we introduce three key innovations: (1) Efficient Training Scaling: A depth-growth paradigm that enables scaling from 1.6B to 4.8B parameters with significantly reduced computational resources, combined with a memory-efficient 8-bit optimizer. (2) Model Depth Pruning: A block importance analysis technique for efficient model compression to arbitrary sizes with minimal quality loss. (3) Inference-time Scaling: A repeated sampling strategy that trades computation for model capacity, enabling smaller models to match larger model quality at inference time. Through these strategies, SANA-1.5 achieves a text-image alignment score of 0.72 on GenEval, which can be further improved to 0.80 through inference scaling, establishing a new SoTA on GenEval benchmark. These innovations enable efficient model scaling across different compute budgets while maintaining high quality, making high-quality image generation more accessible.