IHEval: 명령어 계층 구조 준수 여부에 대한 언어 모델 평가

IHEval: Evaluating Language Models on Following the Instruction Hierarchy

February 12, 2025

저자: Zhihan Zhang, Shiyang Li, Zixuan Zhang, Xin Liu, Haoming Jiang, Xianfeng Tang, Yifan Gao, Zheng Li, Haodong Wang, Zhaoxuan Tan, Yichuan Li, Qingyu Yin, Bing Yin, Meng Jiang

cs.AI

초록

시스템 메시지부터 사용자 메시지, 대화 기록, 도구 출력에 이르는 우선순위를 설정하는 명령어 계층 구조는 언어 모델(LM)의 일관되고 안전한 동작을 보장하는 데 필수적입니다. 그 중요성에도 불구하고, 이 주제는 제한된 관심만을 받고 있으며, 모델이 명령어 계층 구조를 따르는 능력을 평가하기 위한 포괄적인 벤치마크가 부족한 실정입니다. 우리는 이러한 격차를 메우기 위해 IHEval이라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 9개 작업에 걸쳐 3,538개의 예시로 구성되어 있으며, 서로 다른 우선순위의 명령어가 일치하거나 충돌하는 경우를 다룹니다. 인기 있는 LM에 대한 우리의 평가는 이러한 모델들이 명령어 우선순위를 인식하는 데 어려움을 겪고 있음을 보여줍니다. 평가된 모든 모델은 원래의 명령어 수행 성능에 비해 충돌하는 명령어를 마주할 때 급격한 성능 저하를 경험했습니다. 더욱이, 가장 경쟁력 있는 오픈소스 모델조차도 이러한 충돌을 해결하는 데 있어 48%의 정확도만을 달성했습니다. 우리의 결과는 LM의 미래 개발에 있어 목표 지향적인 최적화의 필요성을 강조합니다.

English

The instruction hierarchy, which establishes a priority order from system messages to user messages, conversation history, and tool outputs, is essential for ensuring consistent and safe behavior in language models (LMs). Despite its importance, this topic receives limited attention, and there is a lack of comprehensive benchmarks for evaluating models' ability to follow the instruction hierarchy. We bridge this gap by introducing IHEval, a novel benchmark comprising 3,538 examples across nine tasks, covering cases where instructions in different priorities either align or conflict. Our evaluation of popular LMs highlights their struggle to recognize instruction priorities. All evaluated models experience a sharp performance decline when facing conflicting instructions, compared to their original instruction-following performance. Moreover, the most competitive open-source model only achieves 48% accuracy in resolving such conflicts. Our results underscore the need for targeted optimization in the future development of LMs.