AutoVFX: Modifica Video Fisicamente Realistica da Linguaggio Naturale Istruzioni

AutoVFX: Physically Realistic Video Editing from Natural Language Instructions

November 4, 2024

Autori: Hao-Yu Hsu, Zhi-Hao Lin, Albert Zhai, Hongchi Xia, Shenlong Wang

cs.AI

Abstract

I moderni software di effetti visivi (VFX) hanno reso possibile per artisti esperti creare immagini di praticamente qualsiasi cosa. Tuttavia, il processo di creazione rimane laborioso, complesso e in gran parte inaccessibile agli utenti comuni. In questo lavoro, presentiamo AutoVFX, un framework che crea automaticamente video VFX realistici e dinamici da un singolo video e istruzioni in linguaggio naturale. Integrando attentamente la modellazione neurale della scena, la generazione di codice basata su LLM e la simulazione fisica, AutoVFX è in grado di fornire effetti di editing fotorealistici e basati su principi fisici che possono essere controllati direttamente utilizzando istruzioni in linguaggio naturale. Conduciamo ampi esperimenti per convalidare l'efficacia di AutoVFX su un ampio spettro di video e istruzioni. I risultati quantitativi e qualitativi suggeriscono che AutoVFX supera di gran lunga tutti i metodi concorrenti in termini di qualità generativa, allineamento delle istruzioni, versatilità dell'editing e plausibilità fisica.

English

Modern visual effects (VFX) software has made it possible for skilled artists to create imagery of virtually anything. However, the creation process remains laborious, complex, and largely inaccessible to everyday users. In this work, we present AutoVFX, a framework that automatically creates realistic and dynamic VFX videos from a single video and natural language instructions. By carefully integrating neural scene modeling, LLM-based code generation, and physical simulation, AutoVFX is able to provide physically-grounded, photorealistic editing effects that can be controlled directly using natural language instructions. We conduct extensive experiments to validate AutoVFX's efficacy across a diverse spectrum of videos and instructions. Quantitative and qualitative results suggest that AutoVFX outperforms all competing methods by a large margin in generative quality, instruction alignment, editing versatility, and physical plausibility.