FLUX de 1,58 bits.

1.58-bit FLUX

December 24, 2024

Autores: Chenglin Yang, Celong Liu, Xueqing Deng, Dongwon Kim, Xing Mei, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Resumo

Apresentamos o FLUX de 1,58 bits, a primeira abordagem bem-sucedida para quantizar o modelo de geração de texto para imagem de última geração, FLUX.1-dev, usando pesos de 1,58 bits (ou seja, valores em {-1, 0, +1}) mantendo desempenho comparável na geração de imagens de 1024 x 1024. Notavelmente, nosso método de quantização opera sem acesso aos dados de imagem, dependendo exclusivamente da auto-supervisão do modelo FLUX.1-dev. Além disso, desenvolvemos um kernel personalizado otimizado para operações de 1,58 bits, alcançando uma redução de 7,7 vezes no armazenamento do modelo, uma redução de 5,1 vezes na memória de inferência e uma latência de inferência aprimorada. Avaliações extensas nos benchmarks GenEval e T2I Compbench demonstram a eficácia do FLUX de 1,58 bits em manter a qualidade de geração enquanto aprimora significativamente a eficiência computacional.

English

We present 1.58-bit FLUX, the first successful approach to quantizing the state-of-the-art text-to-image generation model, FLUX.1-dev, using 1.58-bit weights (i.e., values in {-1, 0, +1}) while maintaining comparable performance for generating 1024 x 1024 images. Notably, our quantization method operates without access to image data, relying solely on self-supervision from the FLUX.1-dev model. Additionally, we develop a custom kernel optimized for 1.58-bit operations, achieving a 7.7x reduction in model storage, a 5.1x reduction in inference memory, and improved inference latency. Extensive evaluations on the GenEval and T2I Compbench benchmarks demonstrate the effectiveness of 1.58-bit FLUX in maintaining generation quality while significantly enhancing computational efficiency.