Mappatura del panorama mediatico: Previsione della reportistica fattuale e del bias politico attraverso le interazioni web

Mapping the Media Landscape: Predicting Factual Reporting and Political Bias Through Web Interactions

October 23, 2024

Autori: Dairazalia Sánchez-Cortés, Sergio Burdisso, Esaú Villatoro-Tello, Petr Motlicek

cs.AI

Abstract

La valutazione del bias delle fonti di notizie è fondamentale per professionisti, organizzazioni e ricercatori che si affidano a prove veritiere per la raccolta e la segnalazione di informazioni. Mentre alcuni indicatori di bias sono individuabili dall'analisi dei contenuti, descrizioni come bias politico e fake news pongono sfide maggiori. In questo articolo, proponiamo un'estensione di un metodo di stima dell'affidabilità dei media recentemente presentato che si concentra sulla modellazione delle fonti e sulle loro interazioni web longitudinali. Concretamente, valutiamo le prestazioni di classificazione di quattro strategie di apprendimento per rinforzo su un ampio grafo di hyperlink dei media. I nostri esperimenti, mirati a due complessi indicatori di bias, la segnalazione fattuale e il bias politico, hanno mostrato un significativo miglioramento delle prestazioni a livello di fonte mediatica. Inoltre, convalidiamo i nostri metodi sulla sfida CLEF 2023 CheckThat! Lab, superando i risultati riportati sia nel punteggio F1 che nella metrica MAE ufficiale. Inoltre, contribuiamo rilasciando il più grande dataset annotato di fonti mediatiche, categorizzato con etichette di segnalazione fattuale e bias politico. Le nostre conclusioni suggeriscono che il profilare le fonti mediatiche in base alle loro interazioni di hyperlink nel tempo è fattibile, offrendo una visione d'insieme in evoluzione dei paesaggi mediatici.

English

Bias assessment of news sources is paramount for professionals, organizations, and researchers who rely on truthful evidence for information gathering and reporting. While certain bias indicators are discernible from content analysis, descriptors like political bias and fake news pose greater challenges. In this paper, we propose an extension to a recently presented news media reliability estimation method that focuses on modeling outlets and their longitudinal web interactions. Concretely, we assess the classification performance of four reinforcement learning strategies on a large news media hyperlink graph. Our experiments, targeting two challenging bias descriptors, factual reporting and political bias, showed a significant performance improvement at the source media level. Additionally, we validate our methods on the CLEF 2023 CheckThat! Lab challenge, outperforming the reported results in both, F1-score and the official MAE metric. Furthermore, we contribute by releasing the largest annotated dataset of news source media, categorized with factual reporting and political bias labels. Our findings suggest that profiling news media sources based on their hyperlink interactions over time is feasible, offering a bird's-eye view of evolving media landscapes.