FlipSketch: Het omkeren van statische tekeningen naar tekstgestuurde schetsanimaties

FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations

November 16, 2024

Auteurs: Hmrishav Bandyopadhyay, Yi-Zhe Song

cs.AI

Samenvatting

Schetsanimaties bieden een krachtig medium voor visuele verhalen, van eenvoudige flipboekkrabbels tot professionele studio producties. Terwijl traditionele animatie teams van bekwame artiesten vereist om sleutelbeelden en tussenbeelden te tekenen, vergen bestaande automatiseringspogingen nog steeds aanzienlijke artistieke inspanning door precieze bewegingspaden of sleutelframe-specificaties. Wij presenteren FlipSketch, een systeem dat de magie van flipboekanimatie terugbrengt -- teken gewoon je idee en beschrijf hoe je wilt dat het beweegt! Onze aanpak maakt gebruik van bewegingsprioriteiten uit tekst-naar-video diffusiemodellen, waarbij ze worden aangepast om schetsanimaties te genereren via drie belangrijke innovaties: (i) fijnafstemming voor schetsstijl framegeneratie, (ii) een referentiekadermechanisme dat de visuele integriteit van de invoerschets behoudt door ruisverfijning, en (iii) een dubbele-aandachtopbouw die vloeiende beweging mogelijk maakt zonder visuele consistentie te verliezen. In tegenstelling tot beperkte vectoranimaties ondersteunen onze rasterranden dynamische schetsveranderingen, waarbij de expressieve vrijheid van traditionele animatie wordt vastgelegd. Het resultaat is een intuïtief systeem dat schetsanimatie net zo eenvoudig maakt als krabbelen en beschrijven, terwijl de artistieke essentie van handgetekende animatie behouden blijft.

English

Sketch animations offer a powerful medium for visual storytelling, from simple flip-book doodles to professional studio productions. While traditional animation requires teams of skilled artists to draw key frames and in-between frames, existing automation attempts still demand significant artistic effort through precise motion paths or keyframe specification. We present FlipSketch, a system that brings back the magic of flip-book animation -- just draw your idea and describe how you want it to move! Our approach harnesses motion priors from text-to-video diffusion models, adapting them to generate sketch animations through three key innovations: (i) fine-tuning for sketch-style frame generation, (ii) a reference frame mechanism that preserves visual integrity of input sketch through noise refinement, and (iii) a dual-attention composition that enables fluid motion without losing visual consistency. Unlike constrained vector animations, our raster frames support dynamic sketch transformations, capturing the expressive freedom of traditional animation. The result is an intuitive system that makes sketch animation as simple as doodling and describing, while maintaining the artistic essence of hand-drawn animation.