시드-음악: 고품질 및 제어된 음악 생성을 위한 통합 프레임워크

Seed-Music: A Unified Framework for High Quality and Controlled Music Generation

September 13, 2024

저자: Ye Bai, Haonan Chen, Jitong Chen, Zhuo Chen, Yi Deng, Xiaohong Dong, Lamtharn Hantrakul, Weituo Hao, Qingqing Huang, Zhongyi Huang, Dongya Jia, Feihu La, Duc Le, Bochen Li, Chumin Li, Hui Li, Xingxing Li, Shouda Liu, Wei-Tsung Lu, Yiqing Lu, Andrew Shaw, Janne Spijkervet, Yakun Sun, Bo Wang, Ju-Chiang Wang, Yuping Wang, Yuxuan Wang, Ling Xu, Yifeng Yang, Chao Yao, Shuo Zhang, Yang Zhang, Yilin Zhang, Hang Zhao, Ziyi Zhao, Dejian Zhong, Shicen Zhou, Pei Zou

cs.AI

초록

우리는 Seed-Music을 소개합니다. 이는 섬세한 스타일 제어가 가능한 고품질 음악을 생성할 수 있는 음악 생성 시스템 스위트입니다. 우리의 통합된 프레임워크는 자기 회귀 언어 모델링과 확산 접근 방식을 활용하여 두 가지 주요 음악 생성 워크플로우를 지원합니다: 제어된 음악 생성과 포스트 프로덕션 편집. 제어된 음악 생성에서, 우리 시스템은 스타일 설명, 오디오 참조, 악보 및 음성 프롬프트를 포함한 멀티모달 입력에서 성능 제어와 함께 보컬 음악 생성을 가능하게 합니다. 포스트 프로덕션 편집에서는 생성된 오디오에서 가사 및 보컬 멜로디를 직접 편집할 수 있는 대화식 도구를 제공합니다. 독자들께는 https://team.doubao.com/seed-music 에서 데모 오디오 예시를 청취해 보시기를 권장합니다.

English

We introduce Seed-Music, a suite of music generation systems capable of producing high-quality music with fine-grained style control. Our unified framework leverages both auto-regressive language modeling and diffusion approaches to support two key music creation workflows: controlled music generation and post-production editing. For controlled music generation, our system enables vocal music generation with performance controls from multi-modal inputs, including style descriptions, audio references, musical scores, and voice prompts. For post-production editing, it offers interactive tools for editing lyrics and vocal melodies directly in the generated audio. We encourage readers to listen to demo audio examples at https://team.doubao.com/seed-music .