AfriHate: アフリカ言語向けのヘイトスピーチと虐待的な言語の多言語コレクションデータセット

AfriHate: A Multilingual Collection of Hate Speech and Abusive Language Datasets for African Languages

January 14, 2025

著者: Shamsuddeen Hassan Muhammad, Idris Abdulmumin, Abinew Ali Ayele, David Ifeoluwa Adelani, Ibrahim Said Ahmad, Saminu Mohammad Aliyu, Nelson Odhiambo Onyango, Lilian D. A. Wanzare, Samuel Rutunda, Lukman Jibril Aliyu, Esubalew Alemneh, Oumaima Hourrane, Hagos Tesfahun Gebremichael, Elyas Abdi Ismail, Meriem Beloucif, Ebrahim Chekol Jibril, Andiswa Bukula, Rooweither Mabuya, Salomey Osei, Abigail Oppong, Tadesse Destaw Belay, Tadesse Kebede Guge, Tesfa Tegegne Asfaw, Chiamaka Ijeoma Chukwuneke, Paul Röttger, Seid Muhie Yimam, Nedjma Ousidhoum

cs.AI

要旨

憎悪表現や虐待的な言語は、理解、特定、および調整するために社会文化的背景知識が必要な世界的現象です。しかし、グローバルサウスの多くの地域では、(1)モデレーションの不在および(2)文脈から切り離されたキーワードのスポッティングによる検閲の記録された事例がいくつかあります。さらに、著名人がしばしばモデレーションプロセスの中心におかれている一方で、少数派に対する大規模かつ標的を絞った憎悪表現キャンペーンが見過ごされてきました。これらの制約は、現地言語の高品質なデータの不足と、地域コミュニティをデータ収集、注釈付け、およびモデレーションプロセスに参加させないことに主に起因しています。この問題に対処するために、私たちはAfriHateを提案します。これは、15のアフリカ言語での憎悪表現や虐待的な言語の多言語データセットです。AfriHate内の各インスタンスは、現地文化に精通したネイティブスピーカーによって注釈付けされています。私たちはデータセットの構築に関連する課題を報告し、LLMを使用した場合と使用しない場合のさまざまな分類ベースライン結果を提示します。データセット、個々の注釈、憎悪表現や攻撃的な言語の辞書は、https://github.com/AfriHate/AfriHate で入手可能です。

English

Hate speech and abusive language are global phenomena that need socio-cultural background knowledge to be understood, identified, and moderated. However, in many regions of the Global South, there have been several documented occurrences of (1) absence of moderation and (2) censorship due to the reliance on keyword spotting out of context. Further, high-profile individuals have frequently been at the center of the moderation process, while large and targeted hate speech campaigns against minorities have been overlooked. These limitations are mainly due to the lack of high-quality data in the local languages and the failure to include local communities in the collection, annotation, and moderation processes. To address this issue, we present AfriHate: a multilingual collection of hate speech and abusive language datasets in 15 African languages. Each instance in AfriHate is annotated by native speakers familiar with the local culture. We report the challenges related to the construction of the datasets and present various classification baseline results with and without using LLMs. The datasets, individual annotations, and hate speech and offensive language lexicons are available on https://github.com/AfriHate/AfriHate