FlipSketch: 정적 그림을 텍스트 안내 스케치 애니메이션으로 뒤집기

FlipSketch: Flipping Static Drawings to Text-Guided Sketch Animations

November 16, 2024

저자: Hmrishav Bandyopadhyay, Yi-Zhe Song

cs.AI

초록

스케치 애니메이션은 간단한 플립북 스케치부터 전문 스튜디오 제작물까지 시각적 이야기 전달에 강력한 매체를 제공합니다. 전통적인 애니메이션은 숙련된 예술가 팀이 주요 프레임과 중간 프레임을 그리는 것을 요구하지만, 기존의 자동화 시도는 여전히 정확한 모션 경로나 키프레임 명세를 통해 상당한 예술적 노력을 필요로 합니다. 저희는 FlipSketch를 제안합니다. 이 시스템은 플립북 애니메이션의 매력을 되살리며, 아이디어를 그리고 어떻게 움직이길 원하는지 설명하기만 하면 됩니다! 저희의 접근 방식은 텍스트에서 비디오로 확산되는 모델로부터 모션 사전을 활용하여 세 가지 주요 혁신을 통해 스케치 애니메이션을 생성합니다: (i) 스케치 스타일 프레임 생성을 위한 파인튜닝, (ii) 입력 스케치의 시각적 무결성을 보존하는 참조 프레임 메커니즘을 통한 노이즈 정제, (iii) 시각적 일관성을 유지하면서 순조로운 모션을 가능하게 하는 이중 주의 구성. 제한된 벡터 애니메이션과 달리, 우리의 래스터 프레임은 동적 스케치 변환을 지원하여 전통적인 애니메이션의 표현적 자유를 포착합니다. 결과적으로, 스케치 애니메이션을 간단한 드로잉과 설명으로 만들 수 있는 직관적인 시스템이 탄생하며, 손으로 그린 애니메이션의 예술적 본질을 유지합니다.

English

Sketch animations offer a powerful medium for visual storytelling, from simple flip-book doodles to professional studio productions. While traditional animation requires teams of skilled artists to draw key frames and in-between frames, existing automation attempts still demand significant artistic effort through precise motion paths or keyframe specification. We present FlipSketch, a system that brings back the magic of flip-book animation -- just draw your idea and describe how you want it to move! Our approach harnesses motion priors from text-to-video diffusion models, adapting them to generate sketch animations through three key innovations: (i) fine-tuning for sketch-style frame generation, (ii) a reference frame mechanism that preserves visual integrity of input sketch through noise refinement, and (iii) a dual-attention composition that enables fluid motion without losing visual consistency. Unlike constrained vector animations, our raster frames support dynamic sketch transformations, capturing the expressive freedom of traditional animation. The result is an intuitive system that makes sketch animation as simple as doodling and describing, while maintaining the artistic essence of hand-drawn animation.