도메인 특화 지식을 대규모 언어 모델에 주입하기: 포괄적 조사

Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey

February 15, 2025

저자: Zirui Song, Bin Yan, Yuhan Liu, Miao Fang, Mingzhe Li, Rui Yan, Xiuying Chen

cs.AI

초록

대형 언어 모델(LLMs)은 자연어 이해, 텍스트 요약, 기계 번역 등 다양한 작업에서 놀라운 성과를 보여주고 있습니다. 그러나 이러한 범용적인 특성으로 인해 의료, 화학, 법률 분석 등 전문 지식이 요구되는 도메인 특화 애플리케이션에서는 그 효과가 제한될 수 있습니다. 이를 해결하기 위해 연구자들은 도메인 특화 지식을 통합하여 LLMs의 성능을 향상시키는 다양한 방법을 탐구해 왔습니다. 본 조사 논문에서는 이러한 방법들을 네 가지 주요 접근 방식으로 분류하여 종합적으로 살펴봅니다: 동적 지식 주입, 정적 지식 임베딩, 모듈식 어댑터, 그리고 프롬프트 최적화. 각 접근 방식은 유연성, 확장성, 효율성 간의 균형을 유지하면서 LLMs에 도메인 전문성을 부여하는 독특한 메커니즘을 제공합니다. 우리는 이러한 방법들이 LLMs가 특화된 작업을 처리할 수 있도록 하는 방식을 논의하고, 각각의 장단점을 비교하며, 도메인 특화 LLMs와 일반 LLMs의 성능을 평가하고, 이 분야의 도전 과제와 기회를 강조합니다. 또한 이 분야에 관심이 있는 독자들을 위해 일반적으로 사용되는 데이터셋과 벤치마크를 요약했습니다. 연구자들이 최신 연구를 지속적으로 접할 수 있도록, 우리는 특화된 LLM 분야의 연구를 기록하기 위한 오픈소스 저장소를 https://github.com/abilliyb/Knowledge_Injection_Survey_Papers 에서 유지하고 있습니다.

English

Large Language Models (LLMs) have demonstrated remarkable success in various tasks such as natural language understanding, text summarization, and machine translation. However, their general-purpose nature often limits their effectiveness in domain-specific applications that require specialized knowledge, such as healthcare, chemistry, or legal analysis. To address this, researchers have explored diverse methods to enhance LLMs by integrating domain-specific knowledge. In this survey, we provide a comprehensive overview of these methods, which we categorize into four key approaches: dynamic knowledge injection, static knowledge embedding, modular adapters, and prompt optimization. Each approach offers unique mechanisms to equip LLMs with domain expertise, balancing trade-offs between flexibility, scalability, and efficiency. We discuss how these methods enable LLMs to tackle specialized tasks, compare their advantages and disadvantages, evaluate domain-specific LLMs against general LLMs, and highlight the challenges and opportunities in this emerging field. For those interested in delving deeper into this area, we also summarize the commonly used datasets and benchmarks. To keep researchers updated on the latest studies, we maintain an open-source at: https://github.com/abilliyb/Knowledge_Injection_Survey_Papers, dedicated to documenting research in the field of specialized LLM.