민스트렐: 비전문가를 위한 다중 에이전트 협조를 통한 구조적 프롬프트 생성

Minstrel: Structural Prompt Generation with Multi-Agents Coordination for Non-AI Experts

September 20, 2024

저자: Ming Wang, Yuanzhong Liu, Xiaoyu Liang, Yijie Huang, Daling Wang, Xiaocui Yang, Sijia Shen, Shi Feng, Xiaoming Zhang, Chaofeng Guan, Yifei Zhang

cs.AI

초록

LLM은 다양한 영역에서 훌륭한 성과를 보여주었습니다. 그러나 그들의 작업을 돕기 위한 고품질 프롬프트를 작성하는 것은 AI 비전문가들에게 어려움을 초래합니다. 프롬프트 엔지니어링에 대한 기존 연구는 다소 분산된 최적화 원칙과 경험적으로 의존하는 프롬프트 최적화기를 제안합니다. 불행하게도, 이러한 노력들은 구조적 설계가 부족하여 학습 비용이 높고 특히 AI 비전문가들에게는 프롬프트의 반복적 업데이트에 적합하지 않습니다. 구조화된 재사용 가능한 프로그래밍 언어에서 영감을 받아 우리는 구조적 프롬프트 설계 프레임워크인 LangGPT를 제안합니다. 더 나아가, 우리는 구조적 프롬프트를 자동으로 생성하기 위한 반사를 갖춘 다중 생성 에이전트 시스템인 Minstrel을 소개합니다. 실험과 사례 연구는 Minstrel에 의해 생성된 구조적 프롬프트 또는 수동으로 작성된 프롬프트가 LLM의 성능을 현저히 향상시킨다는 것을 보여줍니다. 더불어, 우리는 온라인 커뮤니티에서 사용자 설문조사를 통해 구조적 프롬프트의 사용 편의성을 분석합니다.

English

LLMs have demonstrated commendable performance across diverse domains. Nevertheless, formulating high-quality prompts to assist them in their work poses a challenge for non-AI experts. Existing research in prompt engineering suggests somewhat scattered optimization principles and designs empirically dependent prompt optimizers. Unfortunately, these endeavors lack a structural design, incurring high learning costs and it is not conducive to the iterative updating of prompts, especially for non-AI experts. Inspired by structured reusable programming languages, we propose LangGPT, a structural prompt design framework. Furthermore, we introduce Minstrel, a multi-generative agent system with reflection to automate the generation of structural prompts. Experiments and the case study illustrate that structural prompts generated by Minstrel or written manually significantly enhance the performance of LLMs. Furthermore, we analyze the ease of use of structural prompts through a user survey in our online community.