AfriHate: Eine mehrsprachige Sammlung von Hassrede und beleidigender Sprache Datensätzen für afrikanische Sprachen

AfriHate: A Multilingual Collection of Hate Speech and Abusive Language Datasets for African Languages

January 14, 2025

Autoren: Shamsuddeen Hassan Muhammad, Idris Abdulmumin, Abinew Ali Ayele, David Ifeoluwa Adelani, Ibrahim Said Ahmad, Saminu Mohammad Aliyu, Nelson Odhiambo Onyango, Lilian D. A. Wanzare, Samuel Rutunda, Lukman Jibril Aliyu, Esubalew Alemneh, Oumaima Hourrane, Hagos Tesfahun Gebremichael, Elyas Abdi Ismail, Meriem Beloucif, Ebrahim Chekol Jibril, Andiswa Bukula, Rooweither Mabuya, Salomey Osei, Abigail Oppong, Tadesse Destaw Belay, Tadesse Kebede Guge, Tesfa Tegegne Asfaw, Chiamaka Ijeoma Chukwuneke, Paul Röttger, Seid Muhie Yimam, Nedjma Ousidhoum

cs.AI

Zusammenfassung

Hassrede und beleidigende Sprache sind globale Phänomene, die soziokulturelles Hintergrundwissen erfordern, um verstanden, identifiziert und moderiert zu werden. In vielen Regionen des Globalen Südens wurden jedoch mehrere dokumentierte Fälle von (1) fehlender Moderation und (2) Zensur aufgrund der Abhängigkeit von Stichworterkennung außerhalb des Kontextes beobachtet. Darüber hinaus standen häufig prominente Persönlichkeiten im Mittelpunkt des Moderationsprozesses, während umfangreiche und gezielte Hassrede-Kampagnen gegen Minderheiten übersehen wurden. Diese Einschränkungen sind hauptsächlich auf den Mangel an hochwertigen Daten in den lokalen Sprachen und das Versäumnis zurückzuführen, lokale Gemeinschaften in die Datensammlung, Annotation und Moderationsprozesse einzubeziehen. Um dieses Problem anzugehen, präsentieren wir AfriHate: eine mehrsprachige Sammlung von Datensätzen zu Hassrede und beleidigender Sprache in 15 afrikanischen Sprachen. Jedes Beispiel in AfriHate wird von Muttersprachlern annotiert, die mit der lokalen Kultur vertraut sind. Wir berichten über die Herausforderungen im Zusammenhang mit der Erstellung der Datensätze und präsentieren verschiedene Baseline-Ergebnisse der Klassifizierung mit und ohne Verwendung von LLMs. Die Datensätze, individuellen Annotationen und Hassrede- und beleidigende Sprache-Lexika sind auf https://github.com/AfriHate/AfriHate verfügbar.

English

Hate speech and abusive language are global phenomena that need socio-cultural background knowledge to be understood, identified, and moderated. However, in many regions of the Global South, there have been several documented occurrences of (1) absence of moderation and (2) censorship due to the reliance on keyword spotting out of context. Further, high-profile individuals have frequently been at the center of the moderation process, while large and targeted hate speech campaigns against minorities have been overlooked. These limitations are mainly due to the lack of high-quality data in the local languages and the failure to include local communities in the collection, annotation, and moderation processes. To address this issue, we present AfriHate: a multilingual collection of hate speech and abusive language datasets in 15 African languages. Each instance in AfriHate is annotated by native speakers familiar with the local culture. We report the challenges related to the construction of the datasets and present various classification baseline results with and without using LLMs. The datasets, individual annotations, and hate speech and offensive language lexicons are available on https://github.com/AfriHate/AfriHate