PerceiverS: Un Perceiver Multi-Scala con Segmentazione Efficace per la Generazione di Musica Simbolica Espressiva a Lungo Termine

PerceiverS: A Multi-Scale Perceiver with Effective Segmentation for Long-Term Expressive Symbolic Music Generation

November 13, 2024

Autori: Yungang Yi, Weihua Li, Matthew Kuo, Quan Bai

cs.AI

Abstract

La generazione musicale ha fatto progressi significativi, specialmente nel dominio della generazione audio. Tuttavia, generare musica simbolica che sia sia strutturata a lungo termine che espressiva rimane una sfida significativa. In questo articolo, proponiamo PerceiverS (Segmentazione e Scala), un'architettura innovativa progettata per affrontare questo problema sfruttando sia meccanismi di Segmentazione Efficace che di Attenzione Multi-Scala. Il nostro approccio potenzia la generazione di musica simbolica apprendendo simultaneamente dipendenze strutturali a lungo termine e dettagli espressivi a breve termine. Unendo l'attenzione incrociata e l'autoriferimento in un contesto Multi-Scala, PerceiverS cattura la struttura musicale a lungo raggio preservando le sfumature esecutive. Il modello proposto, valutato su set di dati come Maestro, dimostra miglioramenti nella generazione di musica coerente e diversificata con coerenza strutturale e variazione espressiva. Le demo del progetto e i campioni di musica generata sono accessibili tramite il link: https://perceivers.github.io.

English

Music generation has progressed significantly, especially in the domain of audio generation. However, generating symbolic music that is both long-structured and expressive remains a significant challenge. In this paper, we propose PerceiverS (Segmentation and Scale), a novel architecture designed to address this issue by leveraging both Effective Segmentation and Multi-Scale attention mechanisms. Our approach enhances symbolic music generation by simultaneously learning long-term structural dependencies and short-term expressive details. By combining cross-attention and self-attention in a Multi-Scale setting, PerceiverS captures long-range musical structure while preserving performance nuances. The proposed model, evaluated on datasets like Maestro, demonstrates improvements in generating coherent and diverse music with both structural consistency and expressive variation. The project demos and the generated music samples can be accessed through the link: https://perceivers.github.io.