AutoVFX: Fysiek Realistische Videobewerking vanuit Natuurlijke Taal Instructies

AutoVFX: Physically Realistic Video Editing from Natural Language Instructions

November 4, 2024

Auteurs: Hao-Yu Hsu, Zhi-Hao Lin, Albert Zhai, Hongchi Xia, Shenlong Wang

cs.AI

Samenvatting

Moderne visuele effecten (VFX) software heeft het mogelijk gemaakt voor getalenteerde artiesten om afbeeldingen van vrijwel alles te creëren. Echter blijft het creatieproces arbeidsintensief, complex en grotendeels ontoegankelijk voor alledaagse gebruikers. In dit werk presenteren we AutoVFX, een framework dat automatisch realistische en dynamische VFX-video's creëert vanuit een enkele video en natuurlijke taalinstructies. Door zorgvuldig neurale scènemodellering, op LLM gebaseerde codegeneratie en fysieke simulatie te integreren, is AutoVFX in staat om fysiek gefundeerde, fotorealistische bewerkingseffecten te bieden die rechtstreeks kunnen worden aangestuurd met behulp van natuurlijke taalinstructies. We voeren uitgebreide experimenten uit om de doeltreffendheid van AutoVFX te valideren over een divers spectrum van video's en instructies. Kwantitatieve en kwalitatieve resultaten suggereren dat AutoVFX alle concurrerende methoden veruit overtreft op het gebied van generatieve kwaliteit, instructieafstemming, bewerkingsflexibiliteit en fysieke geloofwaardigheid.

English

Modern visual effects (VFX) software has made it possible for skilled artists to create imagery of virtually anything. However, the creation process remains laborious, complex, and largely inaccessible to everyday users. In this work, we present AutoVFX, a framework that automatically creates realistic and dynamic VFX videos from a single video and natural language instructions. By carefully integrating neural scene modeling, LLM-based code generation, and physical simulation, AutoVFX is able to provide physically-grounded, photorealistic editing effects that can be controlled directly using natural language instructions. We conduct extensive experiments to validate AutoVFX's efficacy across a diverse spectrum of videos and instructions. Quantitative and qualitative results suggest that AutoVFX outperforms all competing methods by a large margin in generative quality, instruction alignment, editing versatility, and physical plausibility.