Verso il rilevamento di abusi audio cross-linguistico in contesti a bassa risorsa con apprendimento a pochi colpi.

Towards Cross-Lingual Audio Abuse Detection in Low-Resource Settings with Few-Shot Learning

December 2, 2024

Autori: Aditya Narayan Sankaran, Reza Farahbaksh, Noel Crespi

cs.AI

Abstract

La rilevazione dei contenuti online abusivi, in particolare in contesti a bassa risorsa e all'interno della modalità audio, rimane poco esplorata. Indaghiamo il potenziale delle rappresentazioni audio pre-addestrate per rilevare linguaggio abusivo in lingue a bassa risorsa, in questo caso, nelle lingue indiane utilizzando l'Apprendimento con Pochi Esempi (FSL). Sfruttando rappresentazioni potenti da modelli come Wav2Vec e Whisper, esploriamo la rilevazione di abusi cross-linguistica utilizzando il dataset ADIMA con FSL. Il nostro approccio integra queste rappresentazioni all'interno del framework di Apprendimento Meta-Agnostico del Modello (MAML) per classificare linguaggio abusivo in 10 lingue. Sperimentiamo con varie dimensioni di esempi (50-200) valutando l'impatto dei dati limitati sulle prestazioni. Inoltre, è stata condotta una studio di visualizzazione delle caratteristiche per comprendere meglio il comportamento del modello. Questo studio evidenzia la capacità di generalizzazione dei modelli pre-addestrati in scenari a bassa risorsa e offre preziose intuizioni per rilevare linguaggio abusivo in contesti multilingue.

English

Online abusive content detection, particularly in low-resource settings and within the audio modality, remains underexplored. We investigate the potential of pre-trained audio representations for detecting abusive language in low-resource languages, in this case, in Indian languages using Few Shot Learning (FSL). Leveraging powerful representations from models such as Wav2Vec and Whisper, we explore cross-lingual abuse detection using the ADIMA dataset with FSL. Our approach integrates these representations within the Model-Agnostic Meta-Learning (MAML) framework to classify abusive language in 10 languages. We experiment with various shot sizes (50-200) evaluating the impact of limited data on performance. Additionally, a feature visualization study was conducted to better understand model behaviour. This study highlights the generalization ability of pre-trained models in low-resource scenarios and offers valuable insights into detecting abusive language in multilingual contexts.