Generazione musicale multimodale con ponti espliciti e potenziamento del recupero

Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation

December 12, 2024

Autori: Baisen Wang, Le Zhuo, Zhaokai Wang, Chenxi Bao, Wu Chengjing, Xuecheng Nie, Jiao Dai, Jizhong Han, Yue Liao, Si Liu

cs.AI

Abstract

La generazione di musica multimodale mira a produrre musica da diverse modalità di input, tra cui testo, video e immagini. I metodi esistenti utilizzano uno spazio di incorporamento comune per la fusione multimodale. Nonostante la loro efficacia in altre modalità, la loro applicazione nella generazione di musica multimodale si trova ad affrontare sfide legate alla scarsità dei dati, alla debole allineazione cross-modale e alla limitata controllabilità. Questo articolo affronta tali questioni utilizzando ponti espliciti di testo e musica per l'allineamento multimodale. Introduciamo un nuovo metodo chiamato Ponte Visivo-Musica (VMB). In particolare, un Modello di Descrizione Musicale Multimodale converte gli input visivi in descrizioni testuali dettagliate per fornire il ponte del testo; un modulo di Recupero Musicale a Doppia Traccia che combina strategie di recupero ampie e mirate per fornire il ponte musicale e consentire il controllo dell'utente. Infine, progettiamo un quadro di Generazione Musicale Esplicitamente Condizionata per generare musica basata sui due ponti. Conduciamo esperimenti su compiti di video-musica, immagine-musica, testo-musica e generazione di musica controllabile, insieme a esperimenti sulla controllabilità. I risultati dimostrano che VMB migliora significativamente la qualità della musica, la modalità e l'allineamento personalizzabile rispetto ai metodi precedenti. VMB stabilisce un nuovo standard per la generazione di musica multimodale interpretabile ed espressiva con applicazioni in vari campi multimediali. Demo e codice sono disponibili su https://github.com/wbs2788/VMB.

English

Multimodal music generation aims to produce music from diverse input modalities, including text, videos, and images. Existing methods use a common embedding space for multimodal fusion. Despite their effectiveness in other modalities, their application in multimodal music generation faces challenges of data scarcity, weak cross-modal alignment, and limited controllability. This paper addresses these issues by using explicit bridges of text and music for multimodal alignment. We introduce a novel method named Visuals Music Bridge (VMB). Specifically, a Multimodal Music Description Model converts visual inputs into detailed textual descriptions to provide the text bridge; a Dual-track Music Retrieval module that combines broad and targeted retrieval strategies to provide the music bridge and enable user control. Finally, we design an Explicitly Conditioned Music Generation framework to generate music based on the two bridges. We conduct experiments on video-to-music, image-to-music, text-to-music, and controllable music generation tasks, along with experiments on controllability. The results demonstrate that VMB significantly enhances music quality, modality, and customization alignment compared to previous methods. VMB sets a new standard for interpretable and expressive multimodal music generation with applications in various multimedia fields. Demos and code are available at https://github.com/wbs2788/VMB.