비디오 향상: 무료로 더 나은 생성된 비디오

Enhance-A-Video: Better Generated Video for Free

February 11, 2025

저자: Yang Luo, Xuanlei Zhao, Mengzhao Chen, Kaipeng Zhang, Wenqi Shao, Kai Wang, Zhangyang Wang, Yang You

cs.AI

초록

DiT 기반 비디오 생성은 놀라운 결과를 이루어내었지만, 기존 모델을 향상시키는 연구는 비교적 미개척된 상태입니다. 본 연구에서는 DiT 기반 생성된 비디오의 일관성과 품질을 향상시키는 데에 대한 훈련이 필요 없는 접근 방식인 Enhance-A-Video를 소개합니다. 핵심 아이디어는 비대각선 시간 주의 분포를 기반으로 프레임 간 상관 관계를 향상시키는 것입니다. 간단한 설계 덕분에, 우리의 방법은 재훈련이나 세밀한 조정 없이 대부분의 DiT 기반 비디오 생성 프레임워크에 쉽게 적용될 수 있습니다. 다양한 DiT 기반 비디오 생성 모델에서, 우리의 방법은 시간적 일관성과 시각적 품질 모두에서 유망한 향상을 보여줍니다. 이 연구가 비디오 생성 향상에 대한 미래 탐구를 일깨우는 데 도움이 되기를 희망합니다.

English

DiT-based video generation has achieved remarkable results, but research into enhancing existing models remains relatively unexplored. In this work, we introduce a training-free approach to enhance the coherence and quality of DiT-based generated videos, named Enhance-A-Video. The core idea is enhancing the cross-frame correlations based on non-diagonal temporal attention distributions. Thanks to its simple design, our approach can be easily applied to most DiT-based video generation frameworks without any retraining or fine-tuning. Across various DiT-based video generation models, our approach demonstrates promising improvements in both temporal consistency and visual quality. We hope this research can inspire future explorations in video generation enhancement.