AutoVFX : Montage Vidéo Réaliste Physiquement à partir du Langage Naturel Instructions

AutoVFX: Physically Realistic Video Editing from Natural Language Instructions

November 4, 2024

Auteurs: Hao-Yu Hsu, Zhi-Hao Lin, Albert Zhai, Hongchi Xia, Shenlong Wang

cs.AI

Résumé

Les logiciels modernes d'effets visuels (VFX) ont rendu possible la création d'images de pratiquement n'importe quoi par des artistes talentueux. Cependant, le processus de création reste laborieux, complexe et largement inaccessible aux utilisateurs ordinaires. Dans ce travail, nous présentons AutoVFX, un cadre qui crée automatiquement des vidéos VFX réalistes et dynamiques à partir d'une seule vidéo et d'instructions en langage naturel. En intégrant soigneusement la modélisation de scènes neuronales, la génération de code basée sur LLM et la simulation physique, AutoVFX est capable de fournir des effets d'édition photoréalistes ancrés physiquement, contrôlables directement à l'aide d'instructions en langage naturel. Nous menons des expériences approfondies pour valider l'efficacité d'AutoVFX sur un large spectre de vidéos et d'instructions. Les résultats quantitatifs et qualitatifs suggèrent qu'AutoVFX surpasse de loin toutes les méthodes concurrentes en termes de qualité générative, d'alignement des instructions, de polyvalence d'édition et de plausibilité physique.

English

Modern visual effects (VFX) software has made it possible for skilled artists to create imagery of virtually anything. However, the creation process remains laborious, complex, and largely inaccessible to everyday users. In this work, we present AutoVFX, a framework that automatically creates realistic and dynamic VFX videos from a single video and natural language instructions. By carefully integrating neural scene modeling, LLM-based code generation, and physical simulation, AutoVFX is able to provide physically-grounded, photorealistic editing effects that can be controlled directly using natural language instructions. We conduct extensive experiments to validate AutoVFX's efficacy across a diverse spectrum of videos and instructions. Quantitative and qualitative results suggest that AutoVFX outperforms all competing methods by a large margin in generative quality, instruction alignment, editing versatility, and physical plausibility.