Die Verwendung von Multi-Expert-Prompting verbessert die Zuverlässigkeit, Sicherheit und Nützlichkeit großer Sprachmodelle.

Multi-expert Prompting Improves Reliability, Safety, and Usefulness of Large Language Models

November 1, 2024

Autoren: Do Xuan Long, Duong Ngoc Yen, Anh Tuan Luu, Kenji Kawaguchi, Min-Yen Kan, Nancy F. Chen

cs.AI

Zusammenfassung

Wir präsentieren Multi-Expert-Anleitung, eine neuartige Verbesserung der Experten-Anleitung (Xu et al., 2023), die darauf abzielt, die Generierung von großen Sprachmodellen (LLM) zu verbessern. Konkret leitet sie ein LLM an, eine Eingabe-Anweisung zu erfüllen, indem sie mehrere Experten simuliert, ihre Antworten aggregiert und die besten unter den einzelnen und aggregierten Antworten auswählt. Dieser Prozess wird in einer einzigen Gedankenkette durchgeführt, die aus sieben sorgfältig gestalteten Teilaufgaben abgeleitet ist, die aus der Nominalen Gruppen-Technik (Ven und Delbecq, 1974), einem etablierten Entscheidungsfindungsrahmen, stammen. Unsere Bewertungen zeigen, dass Multi-Expert-Anleitung Experten-Anleitung und vergleichbare Baselines signifikant in der Verbesserung der Wahrhaftigkeit, Faktentreue, Informativität und Nützlichkeit von Antworten übertrifft, während sie die Toxizität und Verletzlichkeit reduziert. Sie erreicht zudem einen Stand der Technik in der Wahrhaftigkeit, indem sie den besten Baseline um 8,69% mit ChatGPT übertrifft. Multi-Expert-Anleitung ist effizient, erklärbar und äußerst anpassungsfähig an verschiedene Szenarien, was die Notwendigkeit für manuelle Anleitungskonstruktionen beseitigt.

English

We present Multi-expert Prompting, a novel enhancement of ExpertPrompting (Xu et al., 2023), designed to improve the large language model (LLM) generation. Specifically, it guides an LLM to fulfill an input instruction by simulating multiple experts, aggregating their responses, and selecting the best among individual and aggregated responses. This process is performed in a single chain of thoughts through our seven carefully designed subtasks derived from the Nominal Group Technique (Ven and Delbecq, 1974), a well-established decision-making framework. Our evaluations demonstrate that Multi-expert Prompting significantly outperforms ExpertPrompting and comparable baselines in enhancing the truthfulness, factuality, informativeness, and usefulness of responses while reducing toxicity and hurtfulness. It further achieves state-of-the-art truthfulness by outperforming the best baseline by 8.69% with ChatGPT. Multi-expert Prompting is efficient, explainable, and highly adaptable to diverse scenarios, eliminating the need for manual prompt construction.