Die Kartierung der Medienlandschaft: Vorhersage von faktischem Berichterstattung und politischer Voreingenommenheit durch Web-Interaktionen

Mapping the Media Landscape: Predicting Factual Reporting and Political Bias Through Web Interactions

October 23, 2024

Autoren: Dairazalia Sánchez-Cortés, Sergio Burdisso, Esaú Villatoro-Tello, Petr Motlicek

cs.AI

Zusammenfassung

Die Bewertung von Voreingenommenheit in Nachrichtenquellen ist entscheidend für Fachleute, Organisationen und Forscher, die sich auf wahrheitsgemäße Beweise für die Informationsbeschaffung und Berichterstattung verlassen. Während bestimmte Voreingenommenheitsindikatoren durch Inhaltsanalysen erkennbar sind, stellen Beschreibungen wie politische Voreingenommenheit und Fake News größere Herausforderungen dar. In diesem Artikel schlagen wir eine Erweiterung einer kürzlich vorgestellten Methode zur Schätzung der Zuverlässigkeit von Nachrichtenmedien vor, die sich auf die Modellierung von Medien und ihren longitudinalen Web-Interaktionen konzentriert. Konkret bewerten wir die Klassifizierungsleistung von vier Verstärkungslernstrategien auf einem großen Hyperlink-Graphen von Nachrichtenmedien. Unsere Experimente, die auf zwei anspruchsvolle Voreingenommenheitsbeschreibungen abzielen, nämlich faktische Berichterstattung und politische Voreingenommenheit, zeigten eine signifikante Leistungsverbesserung auf der Ebene der Quellenmedien. Darüber hinaus validieren wir unsere Methoden an der CLEF 2023 CheckThat! Lab-Herausforderung und übertreffen die gemeldeten Ergebnisse sowohl im F1-Score als auch im offiziellen MAE-Maß. Darüber hinaus tragen wir dazu bei, indem wir den größten annotierten Datensatz von Nachrichtenmedienquellen veröffentlichen, der mit Etiketten für faktische Berichterstattung und politische Voreingenommenheit kategorisiert ist. Unsere Ergebnisse legen nahe, dass die Profilierung von Nachrichtenmedienquellen basierend auf ihren Hyperlink-Interaktionen im Laufe der Zeit machbar ist und einen Überblick über sich entwickelnde Medienlandschaften bietet.

English

Bias assessment of news sources is paramount for professionals, organizations, and researchers who rely on truthful evidence for information gathering and reporting. While certain bias indicators are discernible from content analysis, descriptors like political bias and fake news pose greater challenges. In this paper, we propose an extension to a recently presented news media reliability estimation method that focuses on modeling outlets and their longitudinal web interactions. Concretely, we assess the classification performance of four reinforcement learning strategies on a large news media hyperlink graph. Our experiments, targeting two challenging bias descriptors, factual reporting and political bias, showed a significant performance improvement at the source media level. Additionally, we validate our methods on the CLEF 2023 CheckThat! Lab challenge, outperforming the reported results in both, F1-score and the official MAE metric. Furthermore, we contribute by releasing the largest annotated dataset of news source media, categorized with factual reporting and political bias labels. Our findings suggest that profiling news media sources based on their hyperlink interactions over time is feasible, offering a bird's-eye view of evolving media landscapes.