Optimalisatie van Samengestelde AI-systemen op Basis van LLM: Een Overzicht

LLM-based Optimization of Compound AI Systems: A Survey

October 21, 2024

Auteurs: Matthieu Lin, Jenny Sheng, Andrew Zhao, Shenzhi Wang, Yang Yue, Yiran Wu, Huan Liu, Jun Liu, Gao Huang, Yong-Jin Liu

cs.AI

Samenvatting

In een samengesteld AI-systeem zijn componenten zoals een LLM-oproep, een retriever, een code-interpreter of tools met elkaar verbonden. Het gedrag van het systeem wordt voornamelijk gestuurd door parameters zoals instructies of tooldefinities. Recente ontwikkelingen maken end-to-end optimalisatie van deze parameters mogelijk met behulp van een LLM. Met name het benutten van een LLM als optimizer is bijzonder efficiënt omdat het gradiëntberekening vermijdt en complexe code en instructies kan genereren. Dit artikel presenteert een overzicht van de principes en opkomende trends in LLM-gebaseerde optimalisatie van samengestelde AI-systemen. Het behandelt archetypen van samengestelde AI-systemen, benaderingen voor LLM-gebaseerde end-to-end optimalisatie, en inzichten in toekomstige richtingen en bredere impact. Belangrijk is dat dit overzicht concepten uit programma-analyse gebruikt om een ​​geünificeerd beeld te geven van hoe een LLM-optimizer wordt aangespoord om een samengesteld AI-systeem te optimaliseren. De uitgebreide lijst van artikelen is te vinden op https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.

English

In a compound AI system, components such as an LLM call, a retriever, a code interpreter, or tools are interconnected. The system's behavior is primarily driven by parameters such as instructions or tool definitions. Recent advancements enable end-to-end optimization of these parameters using an LLM. Notably, leveraging an LLM as an optimizer is particularly efficient because it avoids gradient computation and can generate complex code and instructions. This paper presents a survey of the principles and emerging trends in LLM-based optimization of compound AI systems. It covers archetypes of compound AI systems, approaches to LLM-based end-to-end optimization, and insights into future directions and broader impacts. Importantly, this survey uses concepts from program analysis to provide a unified view of how an LLM optimizer is prompted to optimize a compound AI system. The exhaustive list of paper is provided at https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.