1. 58비트 플럭스

1.58-bit FLUX

December 24, 2024

저자: Chenglin Yang, Celong Liu, Xueqing Deng, Dongwon Kim, Xing Mei, Xiaohui Shen, Liang-Chieh Chen

cs.AI

초록

우리는 1.58비트 FLUX를 제시합니다. 이는 최첨단 텍스트에서 이미지를 생성하는 FLUX.1-dev 모델을 1.58비트 가중치(즉, {-1, 0, +1} 값)로 양자화하는 첫 성공적인 방법으로, 1024 x 1024 이미지 생성에 대해 유사한 성능을 유지합니다. 특히, 우리의 양자화 방법은 이미지 데이터에 액세스하지 않고 FLUX.1-dev 모델로부터의 자기 지도만을 의존합니다. 추가적으로, 1.58비트 연산에 최적화된 사용자 정의 커널을 개발하여 모델 저장 공간을 7.7배, 추론 메모리를 5.1배 줄이고 추론 대기 시간을 개선합니다. GenEval 및 T2I Compbench 벤치마크에서의 철저한 평가는 1.58비트 FLUX의 효과적인 성능을 입증하며, 생성 품질을 유지하면서 계산 효율성을 크게 향상시킵니다.

English

We present 1.58-bit FLUX, the first successful approach to quantizing the state-of-the-art text-to-image generation model, FLUX.1-dev, using 1.58-bit weights (i.e., values in {-1, 0, +1}) while maintaining comparable performance for generating 1024 x 1024 images. Notably, our quantization method operates without access to image data, relying solely on self-supervision from the FLUX.1-dev model. Additionally, we develop a custom kernel optimized for 1.58-bit operations, achieving a 7.7x reduction in model storage, a 5.1x reduction in inference memory, and improved inference latency. Extensive evaluations on the GenEval and T2I Compbench benchmarks demonstrate the effectiveness of 1.58-bit FLUX in maintaining generation quality while significantly enhancing computational efficiency.