LLMs Perdidos na Tradução: M-ALERT revela Lacunas de Segurança Cross-Linguísticas

LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Gaps

December 19, 2024

Autores: Felix Friedrich, Simone Tedeschi, Patrick Schramowski, Manuel Brack, Roberto Navigli, Huu Nguyen, Bo Li, Kristian Kersting

cs.AI

Resumo

Construir Modelos de Linguagem Grande (LLMs) seguros em vários idiomas é essencial para garantir tanto o acesso seguro quanto a diversidade linguística. Para isso, apresentamos o M-ALERT, um benchmark multilíngue que avalia a segurança de LLMs em cinco idiomas: inglês, francês, alemão, italiano e espanhol. O M-ALERT inclui 15 mil prompts de alta qualidade por idioma, totalizando 75 mil, seguindo a taxonomia detalhada do ALERT. Nossos experimentos extensivos em 10 LLMs de ponta destacam a importância da análise de segurança específica para cada idioma, revelando que os modelos frequentemente apresentam inconsistências significativas na segurança entre idiomas e categorias. Por exemplo, o Llama3.2 mostra alta insegurança na categoria crime_tax para italiano, mas permanece seguro em outros idiomas. Diferenças semelhantes podem ser observadas em todos os modelos. Em contraste, certas categorias, como substance_cannabis e crime_propaganda, consistentemente desencadeiam respostas inseguras em todos os modelos e idiomas. Essas descobertas destacam a necessidade de práticas robustas de segurança multilíngue em LLMs para garantir o uso seguro e responsável em diversas comunidades de usuários.

English

Building safe Large Language Models (LLMs) across multiple languages is essential in ensuring both safe access and linguistic diversity. To this end, we introduce M-ALERT, a multilingual benchmark that evaluates the safety of LLMs in five languages: English, French, German, Italian, and Spanish. M-ALERT includes 15k high-quality prompts per language, totaling 75k, following the detailed ALERT taxonomy. Our extensive experiments on 10 state-of-the-art LLMs highlight the importance of language-specific safety analysis, revealing that models often exhibit significant inconsistencies in safety across languages and categories. For instance, Llama3.2 shows high unsafety in the category crime_tax for Italian but remains safe in other languages. Similar differences can be observed across all models. In contrast, certain categories, such as substance_cannabis and crime_propaganda, consistently trigger unsafe responses across models and languages. These findings underscore the need for robust multilingual safety practices in LLMs to ensure safe and responsible usage across diverse user communities.