FlipSketch : Transformer des dessins statiques en animations de croquis guidées par du texte

FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations

November 16, 2024

Auteurs: Hmrishav Bandyopadhyay, Yi-Zhe Song

cs.AI

Résumé

Les animations esquissées offrent un puissant moyen de narration visuelle, allant des simples gribouillages de flip-book aux productions de studio professionnelles. Alors que l'animation traditionnelle nécessite des équipes d'artistes qualifiés pour dessiner les images clés et les images intermédiaires, les tentatives d'automatisation existantes exigent encore un effort artistique significatif à travers des trajectoires de mouvement précises ou des spécifications d'images clés. Nous présentons FlipSketch, un système qui redonne vie à la magie de l'animation de flip-book -- il suffit de dessiner votre idée et de décrire comment vous souhaitez qu'elle se déplace ! Notre approche exploite les priorités de mouvement des modèles de diffusion texte-vidéo, en les adaptant pour générer des animations esquissées à travers trois innovations clés : (i) un affinage pour la génération de cadres de style esquisse, (ii) un mécanisme de cadre de référence qui préserve l'intégrité visuelle de l'esquisse d'entrée à travers un affinement du bruit, et (iii) une composition à double attention qui permet un mouvement fluide sans perdre la cohérence visuelle. Contrairement aux animations vectorielles contraintes, nos images matricielles prennent en charge des transformations esquissées dynamiques, capturant la liberté expressive de l'animation traditionnelle. Le résultat est un système intuitif qui rend l'animation esquissée aussi simple que de gribouiller et de décrire, tout en préservant l'essence artistique de l'animation dessinée à la main.

English

Sketch animations offer a powerful medium for visual storytelling, from simple flip-book doodles to professional studio productions. While traditional animation requires teams of skilled artists to draw key frames and in-between frames, existing automation attempts still demand significant artistic effort through precise motion paths or keyframe specification. We present FlipSketch, a system that brings back the magic of flip-book animation -- just draw your idea and describe how you want it to move! Our approach harnesses motion priors from text-to-video diffusion models, adapting them to generate sketch animations through three key innovations: (i) fine-tuning for sketch-style frame generation, (ii) a reference frame mechanism that preserves visual integrity of input sketch through noise refinement, and (iii) a dual-attention composition that enables fluid motion without losing visual consistency. Unlike constrained vector animations, our raster frames support dynamic sketch transformations, capturing the expressive freedom of traditional animation. The result is an intuitive system that makes sketch animation as simple as doodling and describing, while maintaining the artistic essence of hand-drawn animation.