오픈 소스 모델을 활용한 사용자 선호도에 대한 시스템 메시지 생성

System Message Generation for User Preferences using Open-Source Models

February 17, 2025

저자: Minbyul Jeong, Jungho Cho, Minsoo Khang, Dawoon Jung, Teakgyu Hong

cs.AI

초록

시스템 메시지는 대규모 언어 모델(LLMs)과의 상호작용에서 중요한 역할을 하며 종종 대화를 시작하는 프롬프트로 작용합니다. 시스템 메시지를 통해 사용자는 특정 역할을 할당하고 의도한 작업을 수행하며 배경 정보를 통합하고 다양한 출력 형식과 통신 스타일을 지정할 수 있습니다. 이러한 다양성에도 불구하고, 공개적으로 이용 가능한 데이터는 종종 시스템 메시지가 부족하며 산업 분야에서 엄격한 라이선스 제약을 받습니다. 사용자 지침과 일치하는 시스템 메시지로 공개적으로 이용 가능한 데이터를 수동으로 레이블링하는 것은 상당한 자원을 필요로 합니다. 이러한 도전에 대응하여, 본 연구는 시스템 메시지를 생성하는 파이프라인인 SysGen을 소개합니다. 이 파이프라인은 시스템 메시지가 없는 지도된 세밀 조정 데이터셋으로부터 더 잘 일치하는 보조 응답을 생성합니다. SysGen 데이터로 훈련하는 것은 모델 응답과 시스템 메시지 및 사용자 지침의 일치에 상당한 개선을 보여주었으며, 다양한 오픈 소스 모델에서 Multifacet 벤치마크를 통해 입증되었습니다. 이러한 훈련은 Open LLM Leaderboard 2와 같은 다른 보이지 않는 벤치마크에는 최소한의 영향을 미치면서 진행되었습니다. 우리의 질적 분석은 다양한 시스템 메시지의 중요성을 강조하여 다양한 맥락에서의 더 나은 적응성을 보장합니다.

English

System messages play a crucial role in interactions with large language models (LLMs), often serving as prompts to initiate conversations. Through system messages, users can assign specific roles, perform intended tasks, incorporate background information, specify various output formats and communication styles. Despite such versatility, publicly available data are often lack system messages and subject to strict license constraints in the industry field. Manual labeling of publicly available data with system messages that align with user instructions demands significant resources. In view of such challenges, our work introduces SysGen, a pipeline for generating system messages with better aligned assistant responses from the supervised fine-tuning dataset without system messages. Training on SysGen data has demonstrated substantial improvements in the alignment of model responses with system messages and user instructions, as demonstrated across various open-source models on the Multifacet benchmark, while maintaining minimal impact on other unseen benchmarks such as Open LLM Leaderboard 2. Our qualitative analysis highlights the importance of diverse system messages to ensure better adaptability across different contexts.