FlipSketch: Trasformare Disegni Statici in Animazioni Guidate da Testo

FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations

November 16, 2024

Autori: Hmrishav Bandyopadhyay, Yi-Zhe Song

cs.AI

Abstract

Le animazioni a schizzo offrono un potente mezzo per la narrazione visiva, dai semplici scarabocchi di un flip-book alle produzioni professionali di uno studio. Mentre l'animazione tradizionale richiede team di artisti esperti per disegnare i fotogrammi chiave e quelli intermedi, i tentativi di automazione esistenti richiedono comunque un notevole sforzo artistico attraverso precisi percorsi di movimento o specifiche dei fotogrammi chiave. Presentiamo FlipSketch, un sistema che riporta la magia dell'animazione a flip-book: basta disegnare la propria idea e descrivere come si desidera che si muova! Il nostro approccio sfrutta i precedenti di movimento dai modelli di diffusione testo-video, adattandoli per generare animazioni a schizzo attraverso tre innovazioni chiave: (i) raffinamento per la generazione di fotogrammi in stile schizzo, (ii) un meccanismo di fotogramma di riferimento che preserva l'integrità visiva dello schizzo di input attraverso il raffinamento del rumore, e (iii) una composizione a doppia attenzione che consente un movimento fluido senza perdere coerenza visiva. A differenza delle animazioni vettoriali vincolate, i nostri fotogrammi raster supportano trasformazioni dinamiche dello schizzo, catturando la libertà espressiva dell'animazione tradizionale. Il risultato è un sistema intuitivo che rende l'animazione a schizzo semplice come scarabocchiare e descrivere, mantenendo l'essenza artistica dell'animazione disegnata a mano.

English

Sketch animations offer a powerful medium for visual storytelling, from simple flip-book doodles to professional studio productions. While traditional animation requires teams of skilled artists to draw key frames and in-between frames, existing automation attempts still demand significant artistic effort through precise motion paths or keyframe specification. We present FlipSketch, a system that brings back the magic of flip-book animation -- just draw your idea and describe how you want it to move! Our approach harnesses motion priors from text-to-video diffusion models, adapting them to generate sketch animations through three key innovations: (i) fine-tuning for sketch-style frame generation, (ii) a reference frame mechanism that preserves visual integrity of input sketch through noise refinement, and (iii) a dual-attention composition that enables fluid motion without losing visual consistency. Unlike constrained vector animations, our raster frames support dynamic sketch transformations, capturing the expressive freedom of traditional animation. The result is an intuitive system that makes sketch animation as simple as doodling and describing, while maintaining the artistic essence of hand-drawn animation.