프롬프트 콘텐츠를 넘어서: 콘텐츠 형식 통합 프롬프트 최적화를 통한 LLM 성능 향상

Beyond Prompt Content: Enhancing LLM Performance via Content-Format Integrated Prompt Optimization

February 6, 2025

저자: Yuanye Liu, Jiahang Xu, Li Lyna Zhang, Qi Chen, Xuan Feng, Yang Chen, Zhongxin Guo, Yuqing Yang, Cheng Peng

cs.AI

초록

대형 언어 모델 (LLM)은 다양한 작업에서 상당한 능력을 보여주었으며, 실제 성능은 종종 프롬프트 디자인에 의해 결정됩니다. 최근 연구는 프롬프트 콘텐츠를 최적화하는 데 초점을 맞추었지만, 중요하지만 종종 간과되는 프롬프트 형식의 역할은 체계적으로 조사되지 않았습니다. 본 논문에서는 콘텐츠-형식 통합 프롬프트 최적화 (CFPO)를 소개합니다. CFPO는 콘텐츠와 형식을 함께 최적화하는 혁신적인 방법론으로, 반복적인 세밀화 과정을 통해 작동합니다. CFPO는 자연어 변이를 활용하여 콘텐츠 변형을 탐색하고, 다양한 형식 옵션을 체계적으로 평가하는 동적 형식 탐색 전략을 채택합니다. 다양한 작업과 오픈 소스 LLM을 통한 광범위한 평가 결과, CFPO가 콘텐츠만을 최적화하는 방법에 비해 성능 향상을 입증하였습니다. 이는 통합된 콘텐츠-형식 최적화의 중요성을 강조하며, LLM 성능 향상을 위한 실용적이고 모델에 중립적인 접근 방식을 제시합니다. 코드는 https://github.com/HenryLau7/CFPO에서 제공될 예정입니다.

English

Large Language Models (LLMs) have shown significant capability across various tasks, with their real-world effectiveness often driven by prompt design. While recent research has focused on optimizing prompt content, the role of prompt formatting, a critical but often overlooked dimension, has received limited systematic investigation. In this paper, we introduce Content-Format Integrated Prompt Optimization (CFPO), an innovative methodology that jointly optimizes both prompt content and formatting through an iterative refinement process. CFPO leverages natural language mutations to explore content variations and employs a dynamic format exploration strategy that systematically evaluates diverse format options. Our extensive evaluations across multiple tasks and open-source LLMs demonstrate that CFPO demonstrates measurable performance improvements compared to content-only optimization methods. This highlights the importance of integrated content-format optimization and offers a practical, model-agnostic approach to enhancing LLM performance. Code will be available at https://github.com/HenryLau7/CFPO.