AutoVFX: Physikalisch realistische Videobearbeitung aus natürlicher Sprache Anweisungen

AutoVFX: Physically Realistic Video Editing from Natural Language Instructions

November 4, 2024

Autoren: Hao-Yu Hsu, Zhi-Hao Lin, Albert Zhai, Hongchi Xia, Shenlong Wang

cs.AI

Zusammenfassung

Moderne Visual Effects (VFX)-Software hat es talentierten Künstlern ermöglicht, Abbildungen von praktisch allem zu erstellen. Dennoch bleibt der Erstellungsprozess mühsam, komplex und größtenteils für den alltäglichen Benutzer unzugänglich. In dieser Arbeit präsentieren wir AutoVFX, ein Framework, das automatisch realistische und dynamische VFX-Videos aus einem einzigen Video und natürlichsprachlichen Anweisungen erstellt. Durch die sorgfältige Integration neuronaler Szenenmodellierung, auf LLM basierter Codegenerierung und physikalischer Simulation ist AutoVFX in der Lage, physikalisch fundierte, fotorealistische Bearbeitungseffekte bereitzustellen, die direkt mithilfe natürlichsprachlicher Anweisungen gesteuert werden können. Wir führen umfangreiche Experimente durch, um die Wirksamkeit von AutoVFX über ein breites Spektrum von Videos und Anweisungen zu validieren. Quantitative und qualitative Ergebnisse legen nahe, dass AutoVFX in generativer Qualität, Anweisungsübereinstimmung, Bearbeitungsvielseitigkeit und physikalischer Plausibilität alle konkurrierenden Methoden bei weitem übertrifft.

English

Modern visual effects (VFX) software has made it possible for skilled artists to create imagery of virtually anything. However, the creation process remains laborious, complex, and largely inaccessible to everyday users. In this work, we present AutoVFX, a framework that automatically creates realistic and dynamic VFX videos from a single video and natural language instructions. By carefully integrating neural scene modeling, LLM-based code generation, and physical simulation, AutoVFX is able to provide physically-grounded, photorealistic editing effects that can be controlled directly using natural language instructions. We conduct extensive experiments to validate AutoVFX's efficacy across a diverse spectrum of videos and instructions. Quantitative and qualitative results suggest that AutoVFX outperforms all competing methods by a large margin in generative quality, instruction alignment, editing versatility, and physical plausibility.