Una Diffusione per Generarli Tutti

One Diffusion to Generate Them All

November 25, 2024

Autori: Duong H. Le, Tuan Pham, Sangho Lee, Christopher Clark, Aniruddha Kembhavi, Stephan Mandt, Ranjay Krishna, Jiasen Lu

cs.AI

Abstract

Introduciamo OneDiffusion, un modello di diffusione versatile su larga scala che supporta in modo fluido la sintesi e la comprensione bidirezionale delle immagini attraverso diverse attività. Consente la generazione condizionale da input come testo, profondità, posa, layout e mappe semantiche, gestendo anche attività come lo sbiadimento delle immagini, l'ingrandimento e processi inversi come la stima della profondità e la segmentazione. Inoltre, OneDiffusion consente la generazione multi-vista, la stima della posa della fotocamera e la personalizzazione istantanea utilizzando input sequenziali di immagini. Il nostro modello adotta un approccio semplice ma efficace trattando tutte le attività come sequenze di frame con varie scale di rumore durante l'addestramento, consentendo a qualsiasi frame di agire come immagine condizionante al momento dell'inferenza. Il nostro framework unificato di addestramento elimina la necessità di architetture specializzate, supporta l'addestramento multi-attività scalabile e si adatta facilmente a qualsiasi risoluzione, migliorando sia la generalizzazione che la scalabilità. I risultati sperimentali dimostrano prestazioni competitive in varie attività sia di generazione che di previsione come testo-immagine, generazione multi-vista, conservazione dell'ID, stima della profondità e stima della posa della fotocamera nonostante il dataset di addestramento relativamente piccolo. Il nostro codice e il checkpoint sono liberamente disponibili su https://github.com/lehduong/OneDiffusion

English

We introduce OneDiffusion, a versatile, large-scale diffusion model that seamlessly supports bidirectional image synthesis and understanding across diverse tasks. It enables conditional generation from inputs such as text, depth, pose, layout, and semantic maps, while also handling tasks like image deblurring, upscaling, and reverse processes such as depth estimation and segmentation. Additionally, OneDiffusion allows for multi-view generation, camera pose estimation, and instant personalization using sequential image inputs. Our model takes a straightforward yet effective approach by treating all tasks as frame sequences with varying noise scales during training, allowing any frame to act as a conditioning image at inference time. Our unified training framework removes the need for specialized architectures, supports scalable multi-task training, and adapts smoothly to any resolution, enhancing both generalization and scalability. Experimental results demonstrate competitive performance across tasks in both generation and prediction such as text-to-image, multiview generation, ID preservation, depth estimation and camera pose estimation despite relatively small training dataset. Our code and checkpoint are freely available at https://github.com/lehduong/OneDiffusion