화합 인공지능 시스템의 LLM 기반 최적화: 조사

초록

복합 AI 시스템에서 LLM 호출, 검색기, 코드 해석기 또는 도구와 같은 구성 요소들이 상호 연결됩니다. 시스템의 동작은 주로 지시사항이나 도구 정의와 같은 매개변수에 의해 주도됩니다. 최근의 발전으로 인해 이러한 매개변수의 end-to-end 최적화가 LLM을 사용하여 가능해졌습니다. 특히 LLM을 최적화기로 활용하는 것은 그래디언트 계산을 피하고 복잡한 코드와 지시사항을 생성할 수 있기 때문에 효율적입니다. 본 논문은 복합 AI 시스템의 LLM 기반 최적화의 원칙과 떠오르는 동향에 대한 조사를 제시합니다. 복합 AI 시스템의 원형, LLM 기반 end-to-end 최적화 방법, 그리고 미래 방향과 보다 넓은 영향에 대한 통찰을 다룹니다. 중요한 점은 이 조사가 프로그램 분석 개념을 활용하여 LLM 최적화기가 복합 AI 시스템을 최적화하도록 유도되는 방식에 대한 통합된 시각을 제공합니다. 논문의 철저한 목록은 다음 링크에서 확인할 수 있습니다: https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.

English

In a compound AI system, components such as an LLM call, a retriever, a code interpreter, or tools are interconnected. The system's behavior is primarily driven by parameters such as instructions or tool definitions. Recent advancements enable end-to-end optimization of these parameters using an LLM. Notably, leveraging an LLM as an optimizer is particularly efficient because it avoids gradient computation and can generate complex code and instructions. This paper presents a survey of the principles and emerging trends in LLM-based optimization of compound AI systems. It covers archetypes of compound AI systems, approaches to LLM-based end-to-end optimization, and insights into future directions and broader impacts. Importantly, this survey uses concepts from program analysis to provide a unified view of how an LLM optimizer is prompted to optimize a compound AI system. The exhaustive list of paper is provided at https://github.com/linyuhongg/LLM-based-Optimization-of-Compound-AI-Systems.

화합 인공지능 시스템의 LLM 기반 최적화: 조사

LLM-based Optimization of Compound AI Systems: A Survey

초록

Summary

Support