AfriHate: una raccolta multilingue di discorsi d'odio e linguaggio abusivo per le lingue africane

AfriHate: A Multilingual Collection of Hate Speech and Abusive Language Datasets for African Languages

January 14, 2025

Autori: Shamsuddeen Hassan Muhammad, Idris Abdulmumin, Abinew Ali Ayele, David Ifeoluwa Adelani, Ibrahim Said Ahmad, Saminu Mohammad Aliyu, Nelson Odhiambo Onyango, Lilian D. A. Wanzare, Samuel Rutunda, Lukman Jibril Aliyu, Esubalew Alemneh, Oumaima Hourrane, Hagos Tesfahun Gebremichael, Elyas Abdi Ismail, Meriem Beloucif, Ebrahim Chekol Jibril, Andiswa Bukula, Rooweither Mabuya, Salomey Osei, Abigail Oppong, Tadesse Destaw Belay, Tadesse Kebede Guge, Tesfa Tegegne Asfaw, Chiamaka Ijeoma Chukwuneke, Paul Röttger, Seid Muhie Yimam, Nedjma Ousidhoum

cs.AI

Abstract

Il discorso d'odio e il linguaggio abusivo sono fenomeni globali che richiedono conoscenze di contesto socio-culturale per essere compresi, identificati e moderati. Tuttavia, in molte regioni del Sud del Mondo, sono state documentate diverse situazioni di (1) assenza di moderazione e (2) censura a causa della dipendenza dal rilevamento delle parole chiave fuori contesto. Inoltre, individui di alto profilo sono spesso al centro del processo di moderazione, mentre le grandi e mirate campagne di discorso d'odio contro le minoranze sono state trascurate. Queste limitazioni sono principalmente dovute alla mancanza di dati di alta qualità nelle lingue locali e al fallimento nell'includere le comunità locali nei processi di raccolta, annotazione e moderazione. Per affrontare questo problema, presentiamo AfriHate: una collezione multilingue di set di dati di discorso d'odio e linguaggio abusivo in 15 lingue africane. Ogni istanza in AfriHate è annotata da parlanti nativi familiari con la cultura locale. Riportiamo le sfide legate alla costruzione dei set di dati e presentiamo vari risultati di base di classificazione con e senza l'uso di LLM. I set di dati, le singole annotazioni e i lessici di discorso d'odio e linguaggio offensivo sono disponibili su https://github.com/AfriHate/AfriHate

English

Hate speech and abusive language are global phenomena that need socio-cultural background knowledge to be understood, identified, and moderated. However, in many regions of the Global South, there have been several documented occurrences of (1) absence of moderation and (2) censorship due to the reliance on keyword spotting out of context. Further, high-profile individuals have frequently been at the center of the moderation process, while large and targeted hate speech campaigns against minorities have been overlooked. These limitations are mainly due to the lack of high-quality data in the local languages and the failure to include local communities in the collection, annotation, and moderation processes. To address this issue, we present AfriHate: a multilingual collection of hate speech and abusive language datasets in 15 African languages. Each instance in AfriHate is annotated by native speakers familiar with the local culture. We report the challenges related to the construction of the datasets and present various classification baseline results with and without using LLMs. The datasets, individual annotations, and hate speech and offensive language lexicons are available on https://github.com/AfriHate/AfriHate