In kaart brengen van het medialandschap: Voorspellen van feitelijke verslaggeving en politieke bias door webinteracties

Mapping the Media Landscape: Predicting Factual Reporting and Political Bias Through Web Interactions

October 23, 2024

Auteurs: Dairazalia Sánchez-Cortés, Sergio Burdisso, Esaú Villatoro-Tello, Petr Motlicek

cs.AI

Samenvatting

Het beoordelen van vooringenomenheid van nieuwsbronnen is van essentieel belang voor professionals, organisaties en onderzoekers die vertrouwen op waarheidsgetrouwe bewijzen voor het verzamelen en rapporteren van informatie. Hoewel bepaalde vooringenomenheidsindicatoren duidelijk zijn uit contentanalyse, vormen beschrijvingen zoals politieke vooringenomenheid en nepnieuws grotere uitdagingen. In dit artikel stellen we een uitbreiding voor op een recent gepresenteerde methode voor het schatten van de betrouwbaarheid van nieuwsmedia, die zich richt op het modelleren van bronnen en hun longitudinale webinteracties. Concreet beoordelen we de classificatieprestaties van vier versterkend leren strategieën op een groot nieuwsmedia hyperlinkgrafiek. Onze experimenten, gericht op twee uitdagende vooringenomenheidsbeschrijvingen, feitelijke rapportage en politieke vooringenomenheid, toonden een aanzienlijke prestatieverbetering op het niveau van de bronmedia. Daarnaast valideren we onze methoden in de CLEF 2023 CheckThat! Lab-uitdaging, waarbij we de gerapporteerde resultaten overtreffen op zowel de F1-score als de officiële MAE-metriek. Bovendien dragen we bij door het vrijgeven van de grootste geannoteerde dataset van nieuwsmedia, gecategoriseerd met labels voor feitelijke rapportage en politieke vooringenomenheid. Onze bevindingen suggereren dat het profileren van nieuwsmedia op basis van hun hyperlinkinteracties in de loop van de tijd haalbaar is, en een vogelperspectief biedt op zich ontwikkelende medialandschappen.

English

Bias assessment of news sources is paramount for professionals, organizations, and researchers who rely on truthful evidence for information gathering and reporting. While certain bias indicators are discernible from content analysis, descriptors like political bias and fake news pose greater challenges. In this paper, we propose an extension to a recently presented news media reliability estimation method that focuses on modeling outlets and their longitudinal web interactions. Concretely, we assess the classification performance of four reinforcement learning strategies on a large news media hyperlink graph. Our experiments, targeting two challenging bias descriptors, factual reporting and political bias, showed a significant performance improvement at the source media level. Additionally, we validate our methods on the CLEF 2023 CheckThat! Lab challenge, outperforming the reported results in both, F1-score and the official MAE metric. Furthermore, we contribute by releasing the largest annotated dataset of news source media, categorized with factual reporting and political bias labels. Our findings suggest that profiling news media sources based on their hyperlink interactions over time is feasible, offering a bird's-eye view of evolving media landscapes.