LLM-basierte Optimierung von Verbund-KI-Systemen: Eine Übersicht

LLM-based Optimization of Compound AI Systems: A Survey

October 21, 2024

Autoren: Matthieu Lin, Jenny Sheng, Andrew Zhao, Shenzhi Wang, Yang Yue, Yiran Wu, Huan Liu, Jun Liu, Gao Huang, Yong-Jin Liu

cs.AI

Zusammenfassung

In einem komplexen KI-System sind Komponenten wie ein LLM-Aufruf, ein Retriever, ein Code-Interpreter oder Tools miteinander verbunden. Das Verhalten des Systems wird hauptsächlich durch Parameter wie Anweisungen oder Tool-Definitionen gesteuert. Durch jüngste Fortschritte ist eine End-to-End-Optimierung dieser Parameter mithilfe eines LLMs möglich. Insbesondere ist die Nutzung eines LLM als Optimierer besonders effizient, da sie die Berechnung des Gradienten vermeidet und komplexe Codes und Anweisungen generieren kann. Dieser Artikel präsentiert eine Übersicht über die Prinzipien und aufkommenden Trends in der LLM-basierten Optimierung von komplexen KI-Systemen. Er behandelt Archetypen von komplexen KI-Systemen, Ansätze zur end-to-end-Optimierung auf Basis von LLM und Einblicke in zukünftige Richtungen und breitere Auswirkungen. Diese Übersicht verwendet Konzepte aus der Programm-Analyse, um einen einheitlichen Blick darauf zu bieten, wie ein LLM-Optimierer dazu angeregt wird, ein komplexes KI-System zu optimieren. Die umfassende Liste des Artikels ist verfügbar unter https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.

English

In a compound AI system, components such as an LLM call, a retriever, a code interpreter, or tools are interconnected. The system's behavior is primarily driven by parameters such as instructions or tool definitions. Recent advancements enable end-to-end optimization of these parameters using an LLM. Notably, leveraging an LLM as an optimizer is particularly efficient because it avoids gradient computation and can generate complex code and instructions. This paper presents a survey of the principles and emerging trends in LLM-based optimization of compound AI systems. It covers archetypes of compound AI systems, approaches to LLM-based end-to-end optimization, and insights into future directions and broader impacts. Importantly, this survey uses concepts from program analysis to provide a unified view of how an LLM optimizer is prompted to optimize a compound AI system. The exhaustive list of paper is provided at https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.