Controdiscorso Contestualizzato: Strategie per Adattamento, Personalizzazione e Valutazione

Contextualized Counterspeech: Strategies for Adaptation, Personalization, and Evaluation

December 10, 2024

Autori: Lorenzo Cima, Alessio Miaschi, Amaury Trujillo, Marco Avvenuti, Felice Dell'Orletta, Stefano Cresci

cs.AI

Abstract

Il controdiscorso generato dall'IA offre una strategia promettente e scalabile per contrastare la tossicità online attraverso risposte dirette che promuovono il dialogo civile. Tuttavia, attualmente il controdiscorso è standardizzato, mancando di adattamento al contesto di moderazione e agli utenti coinvolti. Proponiamo e valutiamo diverse strategie per generare un controdiscorso personalizzato adattato al contesto di moderazione e personalizzato per l'utente moderato. Istruiamo un modello LLaMA2-13B per generare controdiscorsi, sperimentando con varie configurazioni basate su diverse informazioni contestuali e strategie di ottimizzazione. Identifichiamo le configurazioni che generano un controdiscorso persuasivo attraverso una combinazione di indicatori quantitativi e valutazioni umane raccolte tramite un esperimento di crowdsourcing con un design misto pre-registrato. I risultati mostrano che il controdiscorso contestualizzato può superare significativamente il controdiscorso generico all'avanguardia in termini di adeguatezza e persuasività, senza compromettere le altre caratteristiche. Le nostre conclusioni rivelano anche una scarsa correlazione tra gli indicatori quantitativi e le valutazioni umane, suggerendo che questi metodi valutino aspetti diversi e sottolineando la necessità di metodologie di valutazione sfumate. L'efficacia del controdiscorso generato dall'IA contestualizzato e la divergenza tra valutazioni umane e algoritmiche sottolineano l'importanza di un aumento della collaborazione tra umani e IA nella moderazione dei contenuti.

English

AI-generated counterspeech offers a promising and scalable strategy to curb online toxicity through direct replies that promote civil discourse. However, current counterspeech is one-size-fits-all, lacking adaptation to the moderation context and the users involved. We propose and evaluate multiple strategies for generating tailored counterspeech that is adapted to the moderation context and personalized for the moderated user. We instruct an LLaMA2-13B model to generate counterspeech, experimenting with various configurations based on different contextual information and fine-tuning strategies. We identify the configurations that generate persuasive counterspeech through a combination of quantitative indicators and human evaluations collected via a pre-registered mixed-design crowdsourcing experiment. Results show that contextualized counterspeech can significantly outperform state-of-the-art generic counterspeech in adequacy and persuasiveness, without compromising other characteristics. Our findings also reveal a poor correlation between quantitative indicators and human evaluations, suggesting that these methods assess different aspects and highlighting the need for nuanced evaluation methodologies. The effectiveness of contextualized AI-generated counterspeech and the divergence between human and algorithmic evaluations underscore the importance of increased human-AI collaboration in content moderation.