작업을 보여주세요: 설명 가능한 자동 사실 확인을 위한 사실 확인자의 요구 사항

Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking

February 13, 2025

저자: Greta Warren, Irina Shklovski, Isabelle Augenstein

cs.AI

초록

온라인 미디어에서 대형 언어 모델과 생성적 AI의 보급으로 인해 허위 정보의 양과 정교함이 증가하면서 효과적인 자동 사실 확인이 필요성이 증대되었습니다. 복잡한 사실 확인의 본질은 자동 사실 확인 시스템이 판단을 내릴 수 있도록 하는 설명을 제공해야 한다는 점에서 요구됩니다. 그러나 이러한 설명이 판단과 추론 프로세스와 어떻게 일치해야 하는지, 이를 효과적으로 작업 흐름에 통합시키기 위한 방법은 아직 명확하지 않습니다. 사실 확인 전문가들과의 반구조화된 인터뷰를 통해 우리는 이 간극을 메웠습니다. (i) 사실 확인자가 증거를 평가하고 결정을 내리며 과정을 설명하는 방식에 대한 설명을 제공하고, (ii) 사실 확인자가 실제로 자동화된 도구를 어떻게 활용하는지를 조사하며, (iii) 자동 사실 확인 도구에 대한 사실 확인자의 설명 요구 사항을 식별합니다. 연구 결과는 충족되지 않은 설명 요구 사항을 보여주며, 모델의 추론 경로를 추적하고 구체적인 증거를 참조하며 불확실성과 정보 부족을 강조하는 반복 가능한 사실 확인 설명에 대한 중요한 기준을 확인합니다.

English

The pervasiveness of large language models and generative AI in online media has amplified the need for effective automated fact-checking to assist fact-checkers in tackling the increasing volume and sophistication of misinformation. The complex nature of fact-checking demands that automated fact-checking systems provide explanations that enable fact-checkers to scrutinise their outputs. However, it is unclear how these explanations should align with the decision-making and reasoning processes of fact-checkers to be effectively integrated into their workflows. Through semi-structured interviews with fact-checking professionals, we bridge this gap by: (i) providing an account of how fact-checkers assess evidence, make decisions, and explain their processes; (ii) examining how fact-checkers use automated tools in practice; and (iii) identifying fact-checker explanation requirements for automated fact-checking tools. The findings show unmet explanation needs and identify important criteria for replicable fact-checking explanations that trace the model's reasoning path, reference specific evidence, and highlight uncertainty and information gaps.