Toxizität der Allmende: Kuratierung von Open-Source-Vortrainingsdaten

Toxicity of the Commons: Curating Open-Source Pre-Training Data

October 29, 2024

Autoren: Catherine Arnett, Eliot Jones, Ivan P. Yamshchikov, Pierre-Carl Langlais

cs.AI

Zusammenfassung

Open-Source Large Language Models werden zunehmend von Forschern und Praktikern genutzt und erfreuen sich großer Beliebtheit. Während bedeutende Fortschritte bei Open-Weight-Modellen erzielt wurden, ist das Training mit offenem Datenmaterial eine Praxis, die von den führenden Schöpfern von Open-Weight-Modellen noch nicht übernommen wurde. Gleichzeitig arbeiten Forscher daran, Sprachmodelle sicherer zu machen. Wir schlagen eine Datenkuratierungspipeline vor, um schädliche Ausgaben von Modellen, die auf öffentlich zugänglichen Daten trainiert wurden, zu reduzieren. Es gibt einzigartige Herausforderungen bei der Arbeit mit öffentlich zugänglichen Daten, da sich diese Quellen sowohl in Form als auch Inhalt von Webtexten unterscheiden. Viele Quellen sind historische Dokumente und das Ergebnis von optischer Zeichenerkennung (OCR). Folglich sind die derzeit führenden Ansätze zur Toxizitätsfilterung oft unpraktikabel oder ungeeignet für offene Datenmodelle. In diesem Paper stellen wir eine neue vollständig Open-Source-Pipeline für die Toxizitätsfilterung von Open-Data vor. Unsere Beiträge sind dreifach. Wir erstellen einen benutzerdefinierten Trainingsdatensatz, ToxicCommons, der aus Texten besteht, die in fünf verschiedenen Dimensionen klassifiziert wurden (rassen-/herkunftsbasiert, geschlechtsbasiert, religiös, diskriminierungsbasiert aufgrund von Fähigkeiten und gewalttätig). Wir verwenden diesen Datensatz, um einen benutzerdefinierten Klassifizierer, Celadon, zu trainieren, der dazu verwendet werden kann, toxische Inhalte in offenen Daten effizienter und in größerem Umfang zu erkennen. Schließlich beschreiben wir den ausgewogenen Ansatz zur Inhaltsfiltrierung, der die Sicherheitsfilterung optimiert, unter Berücksichtigung der gefilterten Daten, die für das Training verfügbar sind.

English

Open-source large language models are becoming increasingly available and popular among researchers and practitioners. While significant progress has been made on open-weight models, open training data is a practice yet to be adopted by the leading open-weight models creators. At the same time, there researchers are working to make language models safer. We propose a data curation pipeline to reduce harmful outputs by models trained on public domain data. There are unique challenges to working with public domain data, as these sources differ from web text in both form and content. Many sources are historical documents and are the result of Optical Character Recognition (OCR). Consequently, current state-of-the-art approaches to toxicity filtering are often infeasible or inappropriate for open data models. In this paper, we introduce a new fully open-source pipeline for open-data toxicity filtering. Our contributions are threefold. We create a custom training dataset, ToxicCommons, which is composed of texts which have been classified across five different dimensions (racial/origin-based, gender/sex-based, religious, ability-based discrimination, and violence). We use this dataset to train a custom classifier, Celadon, that can be used to detect toxic content in open data more efficiently at a larger scale. Finally, we describe the balanced approach to content filtration that optimizes safety filtering with respect to the filtered data available for training.