FlipSketch: Umwandlung statischer Zeichnungen in textgesteuerte Skizzieranimationsvideos

FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations

November 16, 2024

Autoren: Hmrishav Bandyopadhyay, Yi-Zhe Song

cs.AI

Zusammenfassung

Skizzenanimationen bieten ein leistungsstarkes Medium für visuelles Storytelling, von einfachen Flip-Book-Skizzen bis hin zu professionellen Studio-Produktionen. Während traditionelle Animationstechniken Teams aus erfahrenen Künstlern erfordern, um Schlüsselbilder und Zwischenbilder zu zeichnen, erfordern bestehende Automatisierungsansätze immer noch erheblichen künstlerischen Aufwand durch präzise Bewegungspfade oder Schlüsselbildspezifikationen. Wir stellen FlipSketch vor, ein System, das die Magie der Flip-Book-Animation zurückbringt - einfach deine Idee zeichnen und beschreiben, wie du möchtest, dass sie sich bewegt! Unser Ansatz nutzt Bewegungsprioritäten aus Text-zu-Video-Diffusionsmodellen, passt sie an, um Skizzenanimationen durch drei Schlüsselinnovationen zu generieren: (i) Feinabstimmung für die Generierung von Skizzenstil-Bildern, (ii) ein Referenzbildmechanismus, der die visuelle Integrität der Eingabeskizze durch Rauschverfeinerung bewahrt, und (iii) eine duale Aufmerksamkeitskomposition, die flüssige Bewegungen ermöglicht, ohne die visuelle Konsistenz zu verlieren. Im Gegensatz zu eingeschränkten Vektoranimationen unterstützen unsere Rasterbilder dynamische Skizzentransformationen und erfassen die expressive Freiheit traditioneller Animation. Das Ergebnis ist ein intuitives System, das Skizzenanimation so einfach wie das Kritzeln und Beschreiben macht, während die künstlerische Essenz der handgezeichneten Animation erhalten bleibt.

English

Sketch animations offer a powerful medium for visual storytelling, from simple flip-book doodles to professional studio productions. While traditional animation requires teams of skilled artists to draw key frames and in-between frames, existing automation attempts still demand significant artistic effort through precise motion paths or keyframe specification. We present FlipSketch, a system that brings back the magic of flip-book animation -- just draw your idea and describe how you want it to move! Our approach harnesses motion priors from text-to-video diffusion models, adapting them to generate sketch animations through three key innovations: (i) fine-tuning for sketch-style frame generation, (ii) a reference frame mechanism that preserves visual integrity of input sketch through noise refinement, and (iii) a dual-attention composition that enables fluid motion without losing visual consistency. Unlike constrained vector animations, our raster frames support dynamic sketch transformations, capturing the expressive freedom of traditional animation. The result is an intuitive system that makes sketch animation as simple as doodling and describing, while maintaining the artistic essence of hand-drawn animation.