다중 전문가 프롬프팅은 대형 언어 모델의 신뢰성, 안전성 및 유용성을 향상시킵니다.

초록

저희는 ExpertPrompting (Xu et al., 2023)의 혁신적인 개선인 Multi-expert Prompting을 제안합니다. 이는 대형 언어 모델 (LLM) 생성을 향상시키기 위해 설계되었습니다. 구체적으로, 이는 LLM이 입력 지시에 부응하도록 안내하기 위해 여러 전문가를 시뮬레이션하고, 그들의 응답을 집계하며, 개별 및 집계된 응답 중 최상의 것을 선택합니다. 이 과정은 Ven과 Delbecq (1974)의 Nominal Group Technique에서 파생된 7가지 신중히 설계된 하위 작업을 통해 단일 사고 체인에서 수행됩니다. 저희의 평가 결과, Multi-expert Prompting이 진실성, 사실성, 정보 제공성 및 유용성을 향상시키는 데 있어 ExpertPrompting 및 비교 기준선을 현저히 능가하며, 독성 및 상처를 줄입니다. 또한 ChatGPT에서 최고의 기준선을 8.69% 능가하여 최신의 진실성을 달성합니다. Multi-expert Prompting은 효율적이고 설명 가능하며 다양한 시나리오에 매우 적응 가능하여 수동 프롬프트 작성의 필요성을 제거합니다.

English

We present Multi-expert Prompting, a novel enhancement of ExpertPrompting (Xu et al., 2023), designed to improve the large language model (LLM) generation. Specifically, it guides an LLM to fulfill an input instruction by simulating multiple experts, aggregating their responses, and selecting the best among individual and aggregated responses. This process is performed in a single chain of thoughts through our seven carefully designed subtasks derived from the Nominal Group Technique (Ven and Delbecq, 1974), a well-established decision-making framework. Our evaluations demonstrate that Multi-expert Prompting significantly outperforms ExpertPrompting and comparable baselines in enhancing the truthfulness, factuality, informativeness, and usefulness of responses while reducing toxicity and hurtfulness. It further achieves state-of-the-art truthfulness by outperforming the best baseline by 8.69% with ChatGPT. Multi-expert Prompting is efficient, explainable, and highly adaptable to diverse scenarios, eliminating the need for manual prompt construction.

다중 전문가 프롬프팅은 대형 언어 모델의 신뢰성, 안전성 및 유용성을 향상시킵니다.

Multi-expert Prompting Improves Reliability, Safety, and Usefulness of Large Language Models

초록

Summary

Support