미디어 랜드스케이프 매핑: 웹 상호작용을 통한 사실적 보도와 정치적 편향 예측

Mapping the Media Landscape: Predicting Factual Reporting and Political Bias Through Web Interactions

October 23, 2024

저자: Dairazalia Sánchez-Cortés, Sergio Burdisso, Esaú Villatoro-Tello, Petr Motlicek

cs.AI

초록

뉴스 소스의 편향성 평가는 진실한 증거에 의존하는 전문가, 기관 및 연구자들에게 매우 중요합니다. 정보 수집 및 보고를 위해. 콘텐츠 분석에서는 특정 편향성 지표가 분명하지만, 정치적 편향성 및 가짜 뉴스와 같은 설명어는 더 큰 도전을 제기합니다. 본 논문에서는 최근 제안된 뉴스 미디어 신뢰도 평가 방법을 확장하여 아울렛 및 그들의 시간 경과에 따른 웹 상호작용을 모델링하는 방법을 제안합니다. 구체적으로, 우리는 네 가지 강화 학습 전략의 분류 성능을 평가하며 대규모 뉴스 미디어 하이퍼링크 그래프에서 실험을 수행했습니다. 우리의 실험은 사실적 보도와 정치적 편향성이라는 두 가지 어려운 편향성 설명어를 대상으로 하며, 소스 미디어 수준에서 상당한 성능 향상을 보여주었습니다. 더불어, 우리는 CLEF 2023 CheckThat! Lab 챌린지에서 우리의 방법을 검증하였으며, F1-점수와 공식 MAE 메트릭에서 보고된 결과를 능가했습니다. 더 나아가, 우리는 사실적 보도와 정치적 편향성 레이블로 분류된 뉴스 소스 미디어의 가장 큰 주석이 달린 데이터 세트를 공개함으로써 기여했습니다. 우리의 연구 결과는 시간이 지남에 따른 하이퍼링크 상호작용을 기반으로 뉴스 미디어 소스를 프로파일링하는 것이 가능하며, 미디어 랜드스케이프의 진화를 한 눈에 볼 수 있다는 것을 시사합니다.

English

Bias assessment of news sources is paramount for professionals, organizations, and researchers who rely on truthful evidence for information gathering and reporting. While certain bias indicators are discernible from content analysis, descriptors like political bias and fake news pose greater challenges. In this paper, we propose an extension to a recently presented news media reliability estimation method that focuses on modeling outlets and their longitudinal web interactions. Concretely, we assess the classification performance of four reinforcement learning strategies on a large news media hyperlink graph. Our experiments, targeting two challenging bias descriptors, factual reporting and political bias, showed a significant performance improvement at the source media level. Additionally, we validate our methods on the CLEF 2023 CheckThat! Lab challenge, outperforming the reported results in both, F1-score and the official MAE metric. Furthermore, we contribute by releasing the largest annotated dataset of news source media, categorized with factual reporting and political bias labels. Our findings suggest that profiling news media sources based on their hyperlink interactions over time is feasible, offering a bird's-eye view of evolving media landscapes.