VideoUFO: Масштабный пользовательский набор данных для генерации видео по текстовому описанию

VideoUFO: A Million-Scale User-Focused Dataset for Text-to-Video Generation

March 3, 2025

Авторы: Wenhao Wang, Yi Yang

cs.AI

Аннотация

Генеративные модели для преобразования текста в видео превращают текстовые запросы в динамический визуальный контент, предлагая широкий спектр применений в кинопроизводстве, игровой индустрии и образовании. Однако их реальная производительность часто не оправдывает ожидания пользователей. Одной из ключевых причин является то, что эти модели не обучались на видео, связанных с некоторыми темами, которые пользователи хотят создавать. В данной статье мы представляем VideoUFO — первый видеодатасет, специально созданный для соответствия фокусу пользователей в реальных сценариях. Помимо этого, наш VideoUFO также обладает следующими особенностями: (1) минимальное (0,29%) пересечение с существующими видеодатасетами и (2) видео, найденные исключительно через официальный API YouTube под лицензией Creative Commons. Эти два атрибута предоставляют будущим исследователям большую свободу для расширения источников обучения. VideoUFO включает более 1,09 миллиона видеоклипов, каждый из которых сопровождается как кратким, так и подробным описанием. В частности, с помощью кластеризации мы сначала выделили 1 291 тему, ориентированную на пользователей, из миллионного набора данных реальных текстовых запросов для создания видео, VidProM. Затем мы использовали эти темы для поиска видео на YouTube, разделили найденные видео на клипы и создали как краткие, так и подробные описания для каждого клипа. После проверки клипов на соответствие указанным темам у нас осталось около 1,09 миллиона видеоклипов. Наши эксперименты показывают, что (1) текущие 16 моделей для преобразования текста в видео не демонстрируют стабильной производительности по всем темам, ориентированным на пользователей; и (2) простая модель, обученная на VideoUFO, превосходит другие модели по темам с наихудшей производительностью. Датасет доступен публично по адресу https://huggingface.co/datasets/WenhaoWang/VideoUFO под лицензией CC BY 4.0.

English

Text-to-video generative models convert textual prompts into dynamic visual content, offering wide-ranging applications in film production, gaming, and education. However, their real-world performance often falls short of user expectations. One key reason is that these models have not been trained on videos related to some topics users want to create. In this paper, we propose VideoUFO, the first Video dataset specifically curated to align with Users' FOcus in real-world scenarios. Beyond this, our VideoUFO also features: (1) minimal (0.29%) overlap with existing video datasets, and (2) videos searched exclusively via YouTube's official API under the Creative Commons license. These two attributes provide future researchers with greater freedom to broaden their training sources. The VideoUFO comprises over 1.09 million video clips, each paired with both a brief and a detailed caption (description). Specifically, through clustering, we first identify 1,291 user-focused topics from the million-scale real text-to-video prompt dataset, VidProM. Then, we use these topics to retrieve videos from YouTube, split the retrieved videos into clips, and generate both brief and detailed captions for each clip. After verifying the clips with specified topics, we are left with about 1.09 million video clips. Our experiments reveal that (1) current 16 text-to-video models do not achieve consistent performance across all user-focused topics; and (2) a simple model trained on VideoUFO outperforms others on worst-performing topics. The dataset is publicly available at https://huggingface.co/datasets/WenhaoWang/VideoUFO under the CC BY 4.0 License.