SafeRoute: 대규모 언어 모델을 위한 효율적이고 정확한 안전 가드레일을 위한 적응형 모델 선택

SafeRoute: Adaptive Model Selection for Efficient and Accurate Safety Guardrails in Large Language Models

February 18, 2025

저자: Seanie Lee, Dong Bok Lee, Dominik Wagner, Minki Kang, Haebin Seong, Tobias Bocklet, Juho Lee, Sung Ju Hwang

cs.AI

초록

실제 애플리케이션에 대규모 언어 모델(LLMs)을 배포할 때는 유해한 사용자 프롬프트를 탐지하고 차단하기 위해 견고한 안전 보호 모델이 필요합니다. 대규모 안전 보호 모델은 강력한 성능을 달성하지만, 그 계산 비용이 상당합니다. 이를 완화하기 위해 더 작은 규모의 증류된 모델이 사용되지만, 이러한 모델은 대규모 모델이 정확한 예측을 제공하는 "어려운" 사례에서 종종 성능이 떨어집니다. 우리는 많은 입력이 더 작은 모델에 의해 안정적으로 처리될 수 있는 반면, 일부 사례만이 대규모 모델의 능력을 필요로 한다는 점을 관찰했습니다. 이를 바탕으로 우리는 어려운 사례와 쉬운 사례를 구분하는 이진 라우터인 SafeRoute를 제안합니다. 우리의 방법은 라우터가 어렵다고 판단한 데이터에만 대규모 안전 보호 모델을 선택적으로 적용하여, 대규모 안전 보호 모델만 사용하는 경우와 비교해 효율성을 개선하면서도 정확도를 유지합니다. 여러 벤치마크 데이터셋에서의 실험 결과는 우리의 적응형 모델 선택이 계산 비용과 안전 성능 간의 균형을 크게 개선하며, 관련 기준선을 능가함을 보여줍니다.

English

Deploying large language models (LLMs) in real-world applications requires robust safety guard models to detect and block harmful user prompts. While large safety guard models achieve strong performance, their computational cost is substantial. To mitigate this, smaller distilled models are used, but they often underperform on "hard" examples where the larger model provides accurate predictions. We observe that many inputs can be reliably handled by the smaller model, while only a small fraction require the larger model's capacity. Motivated by this, we propose SafeRoute, a binary router that distinguishes hard examples from easy ones. Our method selectively applies the larger safety guard model to the data that the router considers hard, improving efficiency while maintaining accuracy compared to solely using the larger safety guard model. Experimental results on multiple benchmark datasets demonstrate that our adaptive model selection significantly enhances the trade-off between computational cost and safety performance, outperforming relevant baselines.