Multi-expert Prompting verbetert de betrouwbaarheid, veiligheid en bruikbaarheid van grote taalmodellen.

Multi-expert Prompting Improves Reliability, Safety, and Usefulness of Large Language Models

November 1, 2024

Auteurs: Do Xuan Long, Duong Ngoc Yen, Anh Tuan Luu, Kenji Kawaguchi, Min-Yen Kan, Nancy F. Chen

cs.AI

Samenvatting

Wij presenteren Multi-expert Aansturing, een nieuwe verbetering van ExpertAansturing (Xu et al., 2023), ontworpen om de generatie van grote taalmodellen (GTM) te verbeteren. Specifiek begeleidt het een GTM om een invoerinstructie te vervullen door meerdere experts te simuleren, hun reacties te aggregeren en de beste te selecteren uit individuele en geaggregeerde reacties. Dit proces wordt uitgevoerd in een enkele gedachtegang via onze zeven zorgvuldig ontworpen subtaken afgeleid van de Nominal Group Techniek (Ven en Delbecq, 1974), een goed ingeburgerd besluitvormingskader. Onze evaluaties tonen aan dat Multi-expert Aansturing aanzienlijk beter presteert dan ExpertAansturing en vergelijkbare baselines bij het verbeteren van de waarachtigheid, feitelijkheid, informativiteit en bruikbaarheid van reacties, terwijl toxiciteit en kwetsendheid worden verminderd. Het behaalt verder een state-of-the-art waarachtigheid door de beste baseline met 8.69% te overtreffen met ChatGPT. Multi-expert Aansturing is efficiënt, verklaarbaar en zeer aanpasbaar aan diverse scenario's, waardoor de noodzaak voor handmatige promptconstructie wordt geëlimineerd.

English

We present Multi-expert Prompting, a novel enhancement of ExpertPrompting (Xu et al., 2023), designed to improve the large language model (LLM) generation. Specifically, it guides an LLM to fulfill an input instruction by simulating multiple experts, aggregating their responses, and selecting the best among individual and aggregated responses. This process is performed in a single chain of thoughts through our seven carefully designed subtasks derived from the Nominal Group Technique (Ven and Delbecq, 1974), a well-established decision-making framework. Our evaluations demonstrate that Multi-expert Prompting significantly outperforms ExpertPrompting and comparable baselines in enhancing the truthfulness, factuality, informativeness, and usefulness of responses while reducing toxicity and hurtfulness. It further achieves state-of-the-art truthfulness by outperforming the best baseline by 8.69% with ChatGPT. Multi-expert Prompting is efficient, explainable, and highly adaptable to diverse scenarios, eliminating the need for manual prompt construction.