DuoGuard: 다국어 LLM을 위한 2인용 강화학습 주도 프레임워크 가드레일
DuoGuard: A Two-Player RL-Driven Framework for Multilingual LLM Guardrails
February 7, 2025
저자: Yihe Deng, Yu Yang, Junkai Zhang, Wei Wang, Bo Li
cs.AI
초록
대형 언어 모델(LLM)의 급속한 발전은 책임 있는 사용을 보장하기 위해 가드레일 모델이 필요한 필요성을 증가시켰는데, 특히 위험하고 불법적인 콘텐츠를 탐지하는 데 있어서 그렇습니다. 영어로 된 상당한 안전 데이터가 존재하는 반면, 다른 언어의 오픈 소스 안전 데이터가 부족하여, 다국어 가드레일 모델링은 탐구되지 않은 상태입니다. 이러한 공백을 해결하기 위해, 우리는 새로운 두 플레이어 강화 학습(RL) 프레임워크를 제안합니다. 여기서 생성기(generator)와 가드레일 모델이 적대적으로 공진하여 다국어 가드레일 훈련을 위한 고품질 합성 데이터를 생성합니다. 우리는 이 상호 작용을 이론적으로 두 플레이어 게임으로 형식화하고 Nash 균형으로 수렴함을 증명합니다. 경험적 평가 결과, 우리 모델인 \ours가 최신 모델들을 능가하여 영어 벤치마크에서 LlamaGuard3 (8B)보다 거의 10% 향상을 달성하면서, 유의미하게 작은 모델(0.5B)로 추론 시 4.5배 빠릅니다. 우리는 실제 데이터셋에서 낮은 자원 언어의 불균형을 해결하는 데 특히 중요한 다국어 안전 작업에서 상당한 발전을 이루었습니다. Ablation 연구는 영어와 다른 언어 간 오픈 소스 데이터의 불균형을 극복하는 데 합성 데이터 생성의 중요한 역할을 강조합니다. 이러한 결과는 합성 데이터 생성에 대한 확장 가능하고 효율적인 접근 방식을 확립하며, LLM 안전성을 향상시키기 위한 개선된 다국어 가드레일 모델을 위한 길을 열어줍니다. 코드, 모델 및 데이터는 https://github.com/yihedeng9/DuoGuard에서 오픈 소스로 제공될 예정입니다.
English
The rapid advancement of large language models (LLMs) has increased the need
for guardrail models to ensure responsible use, particularly in detecting
unsafe and illegal content. While substantial safety data exist in English,
multilingual guardrail modeling remains underexplored due to the scarcity of
open-source safety data in other languages. To address this gap, we propose a
novel two-player Reinforcement Learning (RL) framework, where a generator and a
guardrail model co-evolve adversarially to produce high-quality synthetic data
for multilingual guardrail training. We theoretically formalize this
interaction as a two-player game, proving convergence to a Nash equilibrium.
Empirical evaluations show that our model \ours outperforms state-of-the-art
models, achieving nearly 10% improvement over LlamaGuard3 (8B) on English
benchmarks while being 4.5x faster at inference with a significantly smaller
model (0.5B). We achieve substantial advancements in multilingual safety tasks,
particularly in addressing the imbalance for lower-resource languages in a
collected real dataset. Ablation studies emphasize the critical role of
synthetic data generation in bridging the imbalance in open-source data between
English and other languages. These findings establish a scalable and efficient
approach to synthetic data generation, paving the way for improved multilingual
guardrail models to enhance LLM safety. Code, model, and data will be
open-sourced at https://github.com/yihedeng9/DuoGuard.Summary
AI-Generated Summary