Wan: Modelli Generativi Video su Grande Scala Aperti e Avanzati

Wan: Open and Advanced Large-Scale Video Generative Models

March 26, 2025

Autori: WanTeam, Ang Wang, Baole Ai, Bin Wen, Chaojie Mao, Chen-Wei Xie, Di Chen, Feiwu Yu, Haiming Zhao, Jianxiao Yang, Jianyuan Zeng, Jiayu Wang, Jingfeng Zhang, Jingren Zhou, Jinkai Wang, Jixuan Chen, Kai Zhu, Kang Zhao, Keyu Yan, Lianghua Huang, Mengyang Feng, Ningyi Zhang, Pandeng Li, Pingyu Wu, Ruihang Chu, Ruili Feng, Shiwei Zhang, Siyang Sun, Tao Fang, Tianxing Wang, Tianyi Gui, Tingyu Weng, Tong Shen, Wei Lin, Wei Wang, Wei Wang, Wenmeng Zhou, Wente Wang, Wenting Shen, Wenyuan Yu, Xianzhong Shi, Xiaoming Huang, Xin Xu, Yan Kou, Yangyu Lv, Yifei Li, Yijing Liu, Yiming Wang, Yingya Zhang, Yitong Huang, Yong Li, You Wu, Yu Liu, Yulin Pan, Yun Zheng, Yuntao Hong, Yupeng Shi, Yutong Feng, Zeyinzi Jiang, Zhen Han, Zhi-Fan Wu, Ziyu Liu

cs.AI

Abstract

Questo rapporto presenta Wan, una suite completa e aperta di modelli di base per video progettata per spingere i confini della generazione video. Costruito sul paradigma mainstream del diffusion transformer, Wan raggiunge significativi progressi nelle capacità generative attraverso una serie di innovazioni, tra cui il nostro nuovo VAE, strategie di pre-addestramento scalabili, cura di dati su larga scala e metriche di valutazione automatizzate. Questi contributi migliorano collettivamente le prestazioni e la versatilità del modello. Nello specifico, Wan è caratterizzato da quattro caratteristiche chiave: Prestazioni Leader: Il modello 14B di Wan, addestrato su un vasto dataset comprendente miliardi di immagini e video, dimostra le leggi di scala della generazione video rispetto sia ai dati che alle dimensioni del modello. Supera costantemente i modelli open-source esistenti e le soluzioni commerciali all'avanguardia in molteplici benchmark interni ed esterni, dimostrando una chiara e significativa superiorità nelle prestazioni. Completezza: Wan offre due modelli capaci, rispettivamente da 1.3B e 14B parametri, per efficienza ed efficacia. Copre inoltre molteplici applicazioni downstream, tra cui immagine-a-video, editing video guidato da istruzioni e generazione di video personalizzati, comprendendo fino a otto task. Efficienza di Livello Consumer: Il modello 1.3B dimostra un'eccellente efficienza delle risorse, richiedendo solo 8.19 GB di VRAM, rendendolo compatibile con una vasta gamma di GPU di livello consumer. Apertura: Rendiamo open-source l'intera serie di Wan, inclusi il codice sorgente e tutti i modelli, con l'obiettivo di favorire la crescita della comunità di generazione video. Questa apertura mira a espandere significativamente le possibilità creative della produzione video nell'industria e a fornire al mondo accademico modelli di base per video di alta qualità. Tutto il codice e i modelli sono disponibili su https://github.com/Wan-Video/Wan2.1.

English

This report presents Wan, a comprehensive and open suite of video foundation models designed to push the boundaries of video generation. Built upon the mainstream diffusion transformer paradigm, Wan achieves significant advancements in generative capabilities through a series of innovations, including our novel VAE, scalable pre-training strategies, large-scale data curation, and automated evaluation metrics. These contributions collectively enhance the model's performance and versatility. Specifically, Wan is characterized by four key features: Leading Performance: The 14B model of Wan, trained on a vast dataset comprising billions of images and videos, demonstrates the scaling laws of video generation with respect to both data and model size. It consistently outperforms the existing open-source models as well as state-of-the-art commercial solutions across multiple internal and external benchmarks, demonstrating a clear and significant performance superiority. Comprehensiveness: Wan offers two capable models, i.e., 1.3B and 14B parameters, for efficiency and effectiveness respectively. It also covers multiple downstream applications, including image-to-video, instruction-guided video editing, and personal video generation, encompassing up to eight tasks. Consumer-Grade Efficiency: The 1.3B model demonstrates exceptional resource efficiency, requiring only 8.19 GB VRAM, making it compatible with a wide range of consumer-grade GPUs. Openness: We open-source the entire series of Wan, including source code and all models, with the goal of fostering the growth of the video generation community. This openness seeks to significantly expand the creative possibilities of video production in the industry and provide academia with high-quality video foundation models. All the code and models are available at https://github.com/Wan-Video/Wan2.1.