EmoAgent: Valutazione e Tutela dell'Interazione Uomo-IA per la Sicurezza della Salute Mentale

EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety

April 13, 2025

Autori: Jiahao Qiu, Yinghui He, Xinzhe Juan, Yiming Wang, Yuhan Liu, Zixin Yao, Yue Wu, Xun Jiang, Ling Yang, Mengdi Wang

cs.AI

Abstract

L'ascesa dei personaggi AI guidati da LLM solleva preoccupazioni in materia di sicurezza, in particolare per gli utenti umani vulnerabili con disturbi psicologici. Per affrontare questi rischi, proponiamo EmoAgent, un framework AI multi-agente progettato per valutare e mitigare i pericoli per la salute mentale nelle interazioni uomo-AI. EmoAgent è composto da due componenti: EmoEval simula utenti virtuali, inclusi quelli che rappresentano individui mentalmente vulnerabili, per valutare i cambiamenti nella salute mentale prima e dopo le interazioni con i personaggi AI. Utilizza strumenti di valutazione psicologica e psichiatrica clinicamente provati (PHQ-9, PDI, PANSS) per valutare i rischi mentali indotti dagli LLM. EmoGuard funge da intermediario, monitorando lo stato mentale degli utenti, prevedendo potenziali danni e fornendo feedback correttivi per mitigare i rischi. Esperimenti condotti su chatbot basati su personaggi popolari dimostrano che dialoghi emotivamente coinvolgenti possono portare a un deterioramento psicologico negli utenti vulnerabili, con un peggioramento dello stato mentale in più del 34,4% delle simulazioni. EmoGuard riduce significativamente questi tassi di deterioramento, sottolineando il suo ruolo nel garantire interazioni AI-umane più sicure. Il nostro codice è disponibile all'indirizzo: https://github.com/1akaman/EmoAgent

English

The rise of LLM-driven AI characters raises safety concerns, particularly for vulnerable human users with psychological disorders. To address these risks, we propose EmoAgent, a multi-agent AI framework designed to evaluate and mitigate mental health hazards in human-AI interactions. EmoAgent comprises two components: EmoEval simulates virtual users, including those portraying mentally vulnerable individuals, to assess mental health changes before and after interactions with AI characters. It uses clinically proven psychological and psychiatric assessment tools (PHQ-9, PDI, PANSS) to evaluate mental risks induced by LLM. EmoGuard serves as an intermediary, monitoring users' mental status, predicting potential harm, and providing corrective feedback to mitigate risks. Experiments conducted in popular character-based chatbots show that emotionally engaging dialogues can lead to psychological deterioration in vulnerable users, with mental state deterioration in more than 34.4% of the simulations. EmoGuard significantly reduces these deterioration rates, underscoring its role in ensuring safer AI-human interactions. Our code is available at: https://github.com/1akaman/EmoAgent