Seaweed-7B: Addestramento Economico di un Modello Fondamentale per la Generazione di Video

Seaweed-7B: Cost-Effective Training of Video Generation Foundation Model

April 11, 2025

Autori: Team Seawead, Ceyuan Yang, Zhijie Lin, Yang Zhao, Shanchuan Lin, Zhibei Ma, Haoyuan Guo, Hao Chen, Lu Qi, Sen Wang, Feng Cheng, Feilong Zuo Xuejiao Zeng, Ziyan Yang, Fangyuan Kong, Zhiwu Qing, Fei Xiao, Meng Wei, Tuyen Hoang, Siyu Zhang, Peihao Zhu, Qi Zhao, Jiangqiao Yan, Liangke Gui, Sheng Bi, Jiashi Li, Yuxi Ren, Rui Wang, Huixia Li, Xuefeng Xiao, Shu Liu, Feng Ling, Heng Zhang, Houmin Wei, Huafeng Kuang, Jerry Duncan, Junda Zhang, Junru Zheng, Li Sun, Manlin Zhang, Renfei Sun, Xiaobin Zhuang, Xiaojie Li, Xin Xia, Xuyan Chi, Yanghua Peng, Yuping Wang, Yuxuan Wang, Zhongkai Zhao, Zhuo Chen, Zuquan Song, Zhenheng Yang, Jiashi Feng, Jianchao Yang, Lu Jiang

cs.AI

Abstract

Questo rapporto tecnico presenta una strategia economicamente efficiente per l'addestramento di un modello di base per la generazione di video. Introduciamo un modello di ricerca di medie dimensioni con circa 7 miliardi di parametri (7B), denominato Seaweed-7B, addestrato da zero utilizzando 665.000 ore di GPU H100. Nonostante sia stato addestrato con risorse computazionali moderate, Seaweed-7B dimostra prestazioni altamente competitive rispetto ai modelli contemporanei di generazione video di dimensioni molto più grandi. Le scelte progettuali sono particolarmente cruciali in un contesto con risorse limitate. Questo rapporto tecnico evidenzia le decisioni progettuali chiave che migliorano le prestazioni del modello di diffusione di medie dimensioni. Empiricamente, osserviamo due aspetti: (1) Seaweed-7B raggiunge prestazioni paragonabili o addirittura superiori a modelli più grandi addestrati con risorse GPU significativamente maggiori, e (2) il nostro modello, che mostra una forte capacità di generalizzazione, può essere efficacemente adattato a un'ampia gamma di applicazioni downstream attraverso un fine-tuning leggero o un addestramento continuo. Visita la pagina del progetto all'indirizzo https://seaweed.video/

English

This technical report presents a cost-efficient strategy for training a video generation foundation model. We present a mid-sized research model with approximately 7 billion parameters (7B) called Seaweed-7B trained from scratch using 665,000 H100 GPU hours. Despite being trained with moderate computational resources, Seaweed-7B demonstrates highly competitive performance compared to contemporary video generation models of much larger size. Design choices are especially crucial in a resource-constrained setting. This technical report highlights the key design decisions that enhance the performance of the medium-sized diffusion model. Empirically, we make two observations: (1) Seaweed-7B achieves performance comparable to, or even surpasses, larger models trained on substantially greater GPU resources, and (2) our model, which exhibits strong generalization ability, can be effectively adapted across a wide range of downstream applications either by lightweight fine-tuning or continue training. See the project page at https://seaweed.video/