PerceiverS: Een Multi-Scale Perceiver met Effectieve Segmentatie voor Langdurige Expressieve Symbolische Muziekgeneratie

PerceiverS: A Multi-Scale Perceiver with Effective Segmentation for Long-Term Expressive Symbolic Music Generation

November 13, 2024

Auteurs: Yungang Yi, Weihua Li, Matthew Kuo, Quan Bai

cs.AI

Samenvatting

Muziekgeneratie heeft aanzienlijke vooruitgang geboekt, vooral op het gebied van audiogeneratie. Het genereren van symbolische muziek die zowel lang gestructureerd als expressief is, blijft echter een grote uitdaging. In dit artikel stellen we PerceiverS (Segmentatie en Schaal) voor, een nieuw architectuur ontworpen om dit probleem aan te pakken door zowel Effectieve Segmentatie als Multi-Scale aandachtsmechanismen te benutten. Onze aanpak verbetert de generatie van symbolische muziek door tegelijkertijd lange structurele afhankelijkheden en korte expressieve details te leren. Door cross-aandacht en zelfaandacht te combineren in een Multi-Scale setting, legt PerceiverS de langeafstands muzikale structuur vast terwijl het uitvoeringsnuances behoudt. Het voorgestelde model, geëvalueerd op datasets zoals Maestro, toont verbeteringen in het genereren van coherente en diverse muziek met zowel structurele consistentie als expressieve variatie. De projectdemonstraties en de gegenereerde muziekvoorbeelden zijn te vinden via de link: https://perceivers.github.io.

English

Music generation has progressed significantly, especially in the domain of audio generation. However, generating symbolic music that is both long-structured and expressive remains a significant challenge. In this paper, we propose PerceiverS (Segmentation and Scale), a novel architecture designed to address this issue by leveraging both Effective Segmentation and Multi-Scale attention mechanisms. Our approach enhances symbolic music generation by simultaneously learning long-term structural dependencies and short-term expressive details. By combining cross-attention and self-attention in a Multi-Scale setting, PerceiverS captures long-range musical structure while preserving performance nuances. The proposed model, evaluated on datasets like Maestro, demonstrates improvements in generating coherent and diverse music with both structural consistency and expressive variation. The project demos and the generated music samples can be accessed through the link: https://perceivers.github.io.