Controleerbare Veiligheidsafstemming: Aanpassing tijdens inferentie naar Diverse Veiligheidseisen

Controllable Safety Alignment: Inference-Time Adaptation to Diverse Safety Requirements

October 11, 2024

Auteurs: Jingyu Zhang, Ahmed Elgohary, Ahmed Magooda, Daniel Khashabi, Benjamin Van Durme

cs.AI

Samenvatting

Het huidige paradigma voor veiligheidsafstemming van grote taalmodellen (LLM's) volgt een one-size-fits-all benadering: het model weigert om te interageren met inhoud die door de modelaanbieder als onveilig wordt beschouwd. Deze benadering ontbeert flexibiliteit in het licht van variërende sociale normen over culturen en regio's. Bovendien kunnen gebruikers diverse veiligheidsbehoeften hebben, waardoor een model met statische veiligheidsnormen te beperkend is om nuttig te zijn, en te kostbaar om opnieuw af te stemmen. We stellen Controllable Safety Alignment (CoSA) voor, een raamwerk dat is ontworpen om modellen aan te passen aan diverse veiligheidseisen zonder opnieuw te trainen. In plaats van een vast model af te stemmen, stemmen we modellen af op veiligheidsconfiguraties - vrije natuurlijke taalbeschrijvingen van de gewenste veiligheidsgedragingen - die worden verstrekt als onderdeel van de systeemprompt. Om het veiligheidsgedrag van het model aan te passen, hoeven geautoriseerde gebruikers alleen dergelijke veiligheidsconfiguraties te wijzigen op inferentietijd. Om dat mogelijk te maken, stellen we CoSAlign voor, een op gegevens gerichte methode voor het afstemmen van LLM's om zich gemakkelijk aan te passen aan diverse veiligheidsconfiguraties. Bovendien bedenken we een nieuw protocol voor controleerbaarheidsevaluatie dat zowel behulpzaamheid als geconfigureerde veiligheid in overweging neemt, deze samenvat in CoSA-Score, en construeren CoSApien, een door mensen samengestelde benchmark die bestaat uit LLM-gebruikssituaties in de echte wereld met diverse veiligheidseisen en bijbehorende evaluatieprompts. We tonen aan dat CoSAlign leidt tot aanzienlijke winst in controleerbaarheid ten opzichte van sterke baselines, inclusief in-context afstemming. Ons raamwerk moedigt een betere representatie en aanpassing aan van pluralistische menselijke waarden in LLM's, en vergroot daarmee hun praktische toepasbaarheid.

English

The current paradigm for safety alignment of large language models (LLMs) follows a one-size-fits-all approach: the model refuses to interact with any content deemed unsafe by the model provider. This approach lacks flexibility in the face of varying social norms across cultures and regions. In addition, users may have diverse safety needs, making a model with static safety standards too restrictive to be useful, as well as too costly to be re-aligned. We propose Controllable Safety Alignment (CoSA), a framework designed to adapt models to diverse safety requirements without re-training. Instead of aligning a fixed model, we align models to follow safety configs -- free-form natural language descriptions of the desired safety behaviors -- that are provided as part of the system prompt. To adjust model safety behavior, authorized users only need to modify such safety configs at inference time. To enable that, we propose CoSAlign, a data-centric method for aligning LLMs to easily adapt to diverse safety configs. Furthermore, we devise a novel controllability evaluation protocol that considers both helpfulness and configured safety, summarizing them into CoSA-Score, and construct CoSApien, a human-authored benchmark that consists of real-world LLM use cases with diverse safety requirements and corresponding evaluation prompts. We show that CoSAlign leads to substantial gains of controllability over strong baselines including in-context alignment. Our framework encourages better representation and adaptation to pluralistic human values in LLMs, and thereby increasing their practicality.