향상된 비디오 확산 샘플링을 위한 시공간 스킵 안내

초록

확산 모델은 고품질 이미지, 비디오 및 3D 콘텐츠를 생성하는 강력한 도구로 등장했습니다. CFG와 같은 샘플링 가이드 기술은 품질을 향상시키지만 다양성과 움직임을 줄입니다. Autoguidance는 이러한 문제를 완화하지만 추가 약한 모델 훈련을 필요로 하여 대규모 모델에 대한 실용성을 제한합니다. 본 연구에서는 Spatiotemporal Skip Guidance (STG)를 소개합니다. 이는 트랜스포머 기반 비디오 확산 모델을 향상시키기 위한 간단한 훈련이 필요 없는 샘플링 가이드 방법입니다. STG는 자가 교란을 통해 암시적인 약한 모델을 활용하여 외부 모델이나 추가 훈련이 필요하지 않습니다. 시공간 레이어를 선택적으로 건너뛰어 STG는 다양성이나 동적 정도를 희생하지 않고 샘플 품질을 향상시키기 위해 원본 모델의 정렬된 하향 버전을 생성합니다. 우리의 기여는 다음과 같습니다: (1) 비디오 확산 모델을 위한 효율적이고 성능이 우수한 가이드 기술로서 STG를 소개하는 것, (2) 레이어 건너뛰기를 통해 약한 모델을 시뮬레이션함으로써 보조 모델의 필요성을 제거하는 것, (3) CFG와는 달리 샘플 다양성이나 동역학을 희생하지 않으면서 품질 향상된 가이드를 보장하는 것입니다. 추가 결과는 https://junhahyung.github.io/STGuidance에서 확인할 수 있습니다.

English

Diffusion models have emerged as a powerful tool for generating high-quality images, videos, and 3D content. While sampling guidance techniques like CFG improve quality, they reduce diversity and motion. Autoguidance mitigates these issues but demands extra weak model training, limiting its practicality for large-scale models. In this work, we introduce Spatiotemporal Skip Guidance (STG), a simple training-free sampling guidance method for enhancing transformer-based video diffusion models. STG employs an implicit weak model via self-perturbation, avoiding the need for external models or additional training. By selectively skipping spatiotemporal layers, STG produces an aligned, degraded version of the original model to boost sample quality without compromising diversity or dynamic degree. Our contributions include: (1) introducing STG as an efficient, high-performing guidance technique for video diffusion models, (2) eliminating the need for auxiliary models by simulating a weak model through layer skipping, and (3) ensuring quality-enhanced guidance without compromising sample diversity or dynamics unlike CFG. For additional results, visit https://junhahyung.github.io/STGuidance.

향상된 비디오 확산 샘플링을 위한 시공간 스킵 안내

Spatiotemporal Skip Guidance for Enhanced Video Diffusion Sampling

초록

Summary

Support