Optimisation des systèmes d'IA composés basée sur le LLM : Une enquête

LLM-based Optimization of Compound AI Systems: A Survey

October 21, 2024

Auteurs: Matthieu Lin, Jenny Sheng, Andrew Zhao, Shenzhi Wang, Yang Yue, Yiran Wu, Huan Liu, Jun Liu, Gao Huang, Yong-Jin Liu

cs.AI

Résumé

Dans un système d'IA composé, des composants tels qu'un appel LLM, un récupérateur, un interprète de code ou des outils sont interconnectés. Le comportement du système est principalement guidé par des paramètres tels que des instructions ou des définitions d'outils. Les récents progrès permettent l'optimisation de bout en bout de ces paramètres à l'aide d'un LLM. Notamment, l'utilisation d'un LLM en tant qu'optimiseur est particulièrement efficace car elle évite le calcul de gradient et peut générer un code et des instructions complexes. Cet article présente une étude des principes et des tendances émergentes dans l'optimisation des systèmes d'IA composés basée sur le LLM. Il couvre les archétypes des systèmes d'IA composés, les approches d'optimisation de bout en bout basées sur le LLM, ainsi que des perspectives sur les orientations futures et les impacts plus larges. Cette étude utilise des concepts d'analyse de programme pour offrir une vision unifiée de la manière dont un optimiseur LLM est incité à optimiser un système d'IA composé. La liste exhaustive de l'article est disponible sur https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.

English

In a compound AI system, components such as an LLM call, a retriever, a code interpreter, or tools are interconnected. The system's behavior is primarily driven by parameters such as instructions or tool definitions. Recent advancements enable end-to-end optimization of these parameters using an LLM. Notably, leveraging an LLM as an optimizer is particularly efficient because it avoids gradient computation and can generate complex code and instructions. This paper presents a survey of the principles and emerging trends in LLM-based optimization of compound AI systems. It covers archetypes of compound AI systems, approaches to LLM-based end-to-end optimization, and insights into future directions and broader impacts. Importantly, this survey uses concepts from program analysis to provide a unified view of how an LLM optimizer is prompted to optimize a compound AI system. The exhaustive list of paper is provided at https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.