Hebben LLM's Politieke Correctheid? Analyse van Ethische Vooroordelen en Jailbreak Kwetsbaarheden in AI Systemen

Do LLMs Have Political Correctness? Analyzing Ethical Biases and Jailbreak Vulnerabilities in AI Systems

October 17, 2024

Auteurs: Isack Lee, Haebin Seong

cs.AI

Samenvatting

Hoewel grote taalmodellen (LLM's) indrukwekkende vaardigheid tonen in verschillende taken, brengen ze potentiële veiligheidsrisico's met zich mee, zoals 'jailbreaks', waar kwaadaardige invoer LLM's kan dwingen schadelijke inhoud te genereren. Om deze problemen aan te pakken, hebben veel LLM-ontwikkelaars verschillende veiligheidsmaatregelen geïmplementeerd om deze modellen af te stemmen. Deze afstemming omvat verschillende technieken, waaronder gegevensfiltering tijdens voorafgaande training, begeleid fine-tunen, versterkend leren van menselijke feedback en red-teaming-oefeningen. Deze methoden introduceren vaak opzettelijke en intentionele vooroordelen vergelijkbaar met Politieke Correctheid (PC) om het ethische gedrag van LLM's te waarborgen. In dit artikel duiken we in de opzettelijke vooroordelen die in LLM's zijn geïnjecteerd voor veiligheidsdoeleinden en onderzoeken we methoden om deze veiligheidsafstemmingstechnieken te omzeilen. Opmerkelijk is dat deze opzettelijke vooroordelen resulteren in een succespercentage van jailbreaks in GPT-4o-modellen dat met 20% verschilt tussen niet-binaire en cisgender zoekwoorden en met 16% tussen witte en zwarte zoekwoorden, zelfs wanneer de andere delen van de prompts identiek zijn. We introduceren het concept van PCJailbreak, waarbij de inherente risico's benadrukt worden die worden veroorzaakt door deze veiligheidsgeïnduceerde vooroordelen. Daarnaast stellen we een efficiënte verdedigingsmethode, PCDefense, voor die jailbreakpogingen voorkomt door verdedigingsprompts in te voegen vóór de generatie. PCDefense vormt een aantrekkelijk alternatief voor Bewakingsmodellen, zoals Llama-Guard, die extra inferentiekosten vereisen na tekstgeneratie. Onze bevindingen benadrukken de dringende noodzaak voor LLM-ontwikkelaars om een meer verantwoorde benadering te hanteren bij het ontwerpen en implementeren van veiligheidsmaatregelen.

English

Although large language models (LLMs) demonstrate impressive proficiency in various tasks, they present potential safety risks, such as `jailbreaks', where malicious inputs can coerce LLMs into generating harmful content. To address these issues, many LLM developers have implemented various safety measures to align these models. This alignment involves several techniques, including data filtering during pre-training, supervised fine-tuning, reinforcement learning from human feedback, and red-teaming exercises. These methods often introduce deliberate and intentional biases similar to Political Correctness (PC) to ensure the ethical behavior of LLMs. In this paper, we delve into the intentional biases injected into LLMs for safety purposes and examine methods to circumvent these safety alignment techniques. Notably, these intentional biases result in a jailbreaking success rate in GPT-4o models that differs by 20% between non-binary and cisgender keywords and by 16% between white and black keywords, even when the other parts of the prompts are identical. We introduce the concept of PCJailbreak, highlighting the inherent risks posed by these safety-induced biases. Additionally, we propose an efficient defense method PCDefense, which prevents jailbreak attempts by injecting defense prompts prior to generation. PCDefense stands as an appealing alternative to Guard Models, such as Llama-Guard, that require additional inference cost after text generation. Our findings emphasize the urgent need for LLM developers to adopt a more responsible approach when designing and implementing safety measures.