Efficiënte Diffusiemodellen: Een Uitgebreid Overzicht van Beginselen tot Praktijken

Efficient Diffusion Models: A Comprehensive Survey from Principles to Practices

October 15, 2024

Auteurs: Zhiyuan Ma, Yuzhu Zhang, Guoli Jia, Liangliang Zhao, Yichao Ma, Mingjie Ma, Gaofeng Liu, Kaiyan Zhang, Jianjun Li, Bowen Zhou

cs.AI

Samenvatting

Als een van de meest populaire en gewilde generatieve modellen van de afgelopen jaren hebben diffusiemodellen de interesse gewekt van veel onderzoekers en consequent uitstekende voordelen getoond in verschillende generatieve taken zoals beeldsynthese, videogeneratie, molecuulontwerp, 3D-scenerendering en multimodale generatie, gebaseerd op hun dichte theoretische principes en betrouwbare toepassingspraktijken. Het opmerkelijke succes van deze recente inspanningen op het gebied van diffusiemodellen komt grotendeels voort uit progressieve ontwerpprincipes en efficiënte architectuur, training, inferentie en implementatiemethodologieën. Er is echter nog geen allesomvattende en diepgaande review geweest om deze principes en praktijken samen te vatten om te helpen bij het snel begrijpen en toepassen van diffusiemodellen. In deze survey bieden we een nieuwe efficiëntiegerichte perspectief op deze bestaande inspanningen, die zich voornamelijk richt op de diepgaande principes en efficiënte praktijken in architectuurontwerpen, modeltraining, snelle inferentie en betrouwbare implementatie, om verdere theoretisch onderzoek, algoritme migratie en modeltoepassing voor nieuwe scenario's op een lezersvriendelijke manier te begeleiden.

English

As one of the most popular and sought-after generative models in the recent years, diffusion models have sparked the interests of many researchers and steadily shown excellent advantage in various generative tasks such as image synthesis, video generation, molecule design, 3D scene rendering and multimodal generation, relying on their dense theoretical principles and reliable application practices. The remarkable success of these recent efforts on diffusion models comes largely from progressive design principles and efficient architecture, training, inference, and deployment methodologies. However, there has not been a comprehensive and in-depth review to summarize these principles and practices to help the rapid understanding and application of diffusion models. In this survey, we provide a new efficiency-oriented perspective on these existing efforts, which mainly focuses on the profound principles and efficient practices in architecture designs, model training, fast inference and reliable deployment, to guide further theoretical research, algorithm migration and model application for new scenarios in a reader-friendly way. https://github.com/ponyzym/Efficient-DMs-Survey