MARS: Ein Multi-Agenten-Framework mit sokratischer Anleitung zur automatisierten Prompt-Optimierung

MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization

March 21, 2025

Autoren: Jian Zhang, Zhangqi Wang, Haiping Zhu, Jun Liu, Qika Lin, Erik Cambria

cs.AI

Zusammenfassung

Das grundlegende Frage-Antwort-Format großer Sprachmodelle besteht darin, einen Prompt einzugeben und eine Antwort zu erhalten, wobei die Qualität des Prompts die Effektivität der Antwort direkt beeinflusst. Automatisierte Prompt-Optimierung (APO) zielt darauf ab, sich von den kognitiven Verzerrungen manuell gestalteter Prompts zu befreien und einen breiteren Gestaltungsraum für Prompts zu erkunden. Allerdings leiden bestehende APO-Methoden unter der begrenzten Flexibilität fester Vorlagen und ineffizienter Suche in Prompt-Räumen als zentrale Probleme. Zu diesem Zweck schlagen wir ein Multi-Agenten-Framework mit sokratischer Anleitung (MARS) vor, das Multi-Agenten-Fusionstechnologie zur automatischen Planung nutzt, mit schrittweiser kontinuierlicher Optimierung und Bewertung. Konkret besteht MARS aus sieben Agenten, die jeweils unterschiedliche Funktionen haben und autonom den Planner verwenden, um einen Optimierungspfad zu entwerfen, der Flexibilität gewährleistet. Zudem wird ein Lehrer-Kritiker-Schüler-Sokratischer Dialogmuster eingesetzt, um die Prompts iterativ zu optimieren und gleichzeitig eine effektive Suche durchzuführen. Wir führen umfangreiche Experimente auf verschiedenen Datensätzen durch, um die Wirksamkeit unserer Methode zu validieren, und führen zusätzliche analytische Experimente durch, um den Fortschritt des Modells sowie die Interpretierbarkeit zu bewerten.

English

The basic question-answering format of large language models involves inputting a prompt and receiving a response, and the quality of the prompt directly impacts the effectiveness of the response. Automated Prompt Optimization (APO) aims to break free from the cognitive biases of manually designed prompts and explores a broader design space for prompts. However, existing APO methods suffer from limited flexibility of fixed templates and inefficient search in prompt spaces as key issues. To this end, we propose a Multi-Agent framework Incorporating Socratic guidance (MARS), which utilizes multi-agent fusion technology for automatic planning, with gradual continuous optimization and evaluation. Specifically, MARS comprises seven agents, each with distinct functionalities, which autonomously use the Planner to devise an optimization path that ensures flexibility. Additionally, it employs a Teacher-Critic-Student Socratic dialogue pattern to iteratively optimize the prompts while conducting effective search. We conduct extensive experiments on various datasets to validate the effectiveness of our method, and perform additional analytical experiments to assess the model's advancement as well as the interpretability.