PerceiverS : Un Perceiver Multi-Échelle avec Segmentation Efficace pour la Génération de Musique Symbolique Expressive à Long Terme

PerceiverS: A Multi-Scale Perceiver with Effective Segmentation for Long-Term Expressive Symbolic Music Generation

November 13, 2024

Auteurs: Yungang Yi, Weihua Li, Matthew Kuo, Quan Bai

cs.AI

Résumé

La génération de musique a progressé de manière significative, en particulier dans le domaine de la génération audio. Cependant, générer de la musique symbolique à la fois structurée sur le long terme et expressive reste un défi majeur. Dans cet article, nous proposons PerceiverS (Segmentation et Échelle), une nouvelle architecture conçue pour relever ce défi en exploitant à la fois des mécanismes de Segmentation Efficace et d'attention Multi-Échelle. Notre approche améliore la génération de musique symbolique en apprenant simultanément les dépendances structurelles à long terme et les détails expressifs à court terme. En combinant l'attention croisée et l'auto-attention dans un cadre Multi-Échelle, PerceiverS capture la structure musicale à longue portée tout en préservant les nuances de performance. Le modèle proposé, évalué sur des ensembles de données comme Maestro, montre des améliorations dans la génération de musique cohérente et variée, avec à la fois une cohérence structurelle et une variation expressive. Les démonstrations du projet et les échantillons de musique générée sont accessibles via le lien : https://perceivers.github.io.

English

Music generation has progressed significantly, especially in the domain of audio generation. However, generating symbolic music that is both long-structured and expressive remains a significant challenge. In this paper, we propose PerceiverS (Segmentation and Scale), a novel architecture designed to address this issue by leveraging both Effective Segmentation and Multi-Scale attention mechanisms. Our approach enhances symbolic music generation by simultaneously learning long-term structural dependencies and short-term expressive details. By combining cross-attention and self-attention in a Multi-Scale setting, PerceiverS captures long-range musical structure while preserving performance nuances. The proposed model, evaluated on datasets like Maestro, demonstrates improvements in generating coherent and diverse music with both structural consistency and expressive variation. The project demos and the generated music samples can be accessed through the link: https://perceivers.github.io.