ε-VAE: Desruido como Decodificación Visual

ε-VAE: Denoising as Visual Decoding

October 5, 2024

Autores: Long Zhao, Sanghyun Woo, Ziyu Wan, Yandong Li, Han Zhang, Boqing Gong, Hartwig Adam, Xuhui Jia, Ting Liu

cs.AI

Resumen

En el modelado generativo, la tokenización simplifica datos complejos en representaciones compactas y estructuradas, creando un espacio más eficiente y aprendible. Para datos visuales de alta dimensionalidad, reduce la redundancia y destaca características clave para una generación de alta calidad. Los métodos actuales de tokenización visual se basan en un marco de autoencoder tradicional, donde el codificador comprime los datos en representaciones latentes y el decodificador reconstruye la entrada original. En este trabajo, ofrecemos una nueva perspectiva al proponer el proceso de eliminación de ruido como decodificación, pasando de la reconstrucción de un solo paso a un refinamiento iterativo. Específicamente, reemplazamos el decodificador con un proceso de difusión que refina iterativamente el ruido para recuperar la imagen original, guiado por los latentes proporcionados por el codificador. Evaluamos nuestro enfoque mediante la evaluación tanto de la reconstrucción (rFID) como de la calidad de generación (FID), comparándolo con un enfoque de autoencoding de última generación. Esperamos que este trabajo ofrezca nuevas ideas sobre la integración de la generación iterativa y el autoencoding para una mejor compresión y generación.

English

In generative modeling, tokenization simplifies complex data into compact, structured representations, creating a more efficient, learnable space. For high-dimensional visual data, it reduces redundancy and emphasizes key features for high-quality generation. Current visual tokenization methods rely on a traditional autoencoder framework, where the encoder compresses data into latent representations, and the decoder reconstructs the original input. In this work, we offer a new perspective by proposing denoising as decoding, shifting from single-step reconstruction to iterative refinement. Specifically, we replace the decoder with a diffusion process that iteratively refines noise to recover the original image, guided by the latents provided by the encoder. We evaluate our approach by assessing both reconstruction (rFID) and generation quality (FID), comparing it to state-of-the-art autoencoding approach. We hope this work offers new insights into integrating iterative generation and autoencoding for improved compression and generation.