Training von Video-Foundation-Modellen mit NVIDIA NeMo

Training Video Foundation Models with NVIDIA NeMo

March 17, 2025

Autoren: Zeeshan Patel, Ethan He, Parth Mannan, Xiaowei Ren, Ryan Wolf, Niket Agarwal, Jacob Huffman, Zhuoyao Wang, Carl Wang, Jack Chang, Yan Bai, Tommy Huang, Linnan Wang, Sahil Jain, Shanmugam Ramasamy, Joseph Jennings, Ekaterina Sirazitdinova, Oleg Sudakov, Mingyuan Ma, Bobby Chen, Forrest Lin, Hao Wang, Vasanth Rao Naik Sabavat, Sriharsha Niverty, Rong Ou, Pallab Bhattacharya, David Page, Nima Tajbakhsh, Ashwath Aithal

cs.AI

Zusammenfassung

Video Foundation Models (VFMs) wurden kürzlich eingesetzt, um die reale Welt zu simulieren, um physikalische KI-Systeme zu trainieren und kreative visuelle Erfahrungen zu entwickeln. Es gibt jedoch erhebliche Herausforderungen bei der Ausbildung groß angelegter, hochwertiger VFMs, die qualitativ hochwertige Videos generieren können. Wir präsentieren eine skalierbare, Open-Source-VFM-Trainingspipeline mit NVIDIA NeMo, die eine beschleunigte Kuratierung von Videodatensätzen, multimodales Datenladen sowie parallelisiertes Training und Inferenz von Video-Diffusionsmodellen ermöglicht. Zudem bieten wir eine umfassende Leistungsanalyse, die Best Practices für effizientes VFM-Training und -Inferenz hervorhebt.

English

Video Foundation Models (VFMs) have recently been used to simulate the real world to train physical AI systems and develop creative visual experiences. However, there are significant challenges in training large-scale, high quality VFMs that can generate high-quality videos. We present a scalable, open-source VFM training pipeline with NVIDIA NeMo, providing accelerated video dataset curation, multimodal data loading, and parallelized video diffusion model training and inference. We also provide a comprehensive performance analysis highlighting best practices for efficient VFM training and inference.