RAG에서 메모리로: 대규모 언어 모델을 위한 비모수적 지속 학습

From RAG to Memory: Non-Parametric Continual Learning for Large Language Models

February 20, 2025

저자: Bernal Jiménez Gutiérrez, Yiheng Shu, Weijian Qi, Sizhe Zhou, Yu Su

cs.AI

초록

지속적으로 지식을 습득하고 조직화하며 활용하는 능력은 인간 지능의 핵심 특징으로, AI 시스템이 그 잠재력을 최대한 발휘하기 위해서는 이를 근사화해야 합니다. 대규모 언어 모델(LLM)을 이용한 지속 학습의 어려움을 고려할 때, 검색 증강 생성(RAG)은 새로운 정보를 도입하는 주요 방법으로 자리 잡았습니다. 그러나 RAG는 벡터 검색에 의존하기 때문에 인간의 장기 기억이 가진 동적이고 상호 연결된 특성을 모방하는 데 한계가 있습니다. 최근의 RAG 접근법은 벡터 임베딩에 지식 그래프와 같은 다양한 구조를 추가하여 의미 이해와 연관성 측면의 격차를 일부 해소하고 있습니다. 하지만 이러한 방법들은 기본적인 사실 기억 작업에서 표준 RAG에 비해 상당히 낮은 성능을 보입니다. 우리는 이러한 의도치 않은 성능 저하를 해결하고, 사실 기억, 의미 이해, 연관 기억 작업에서 표준 RAG를 포괄적으로 능가하는 HippoRAG 2 프레임워크를 제안합니다. HippoRAG 2는 HippoRAG에서 사용된 Personalized PageRank 알고리즘을 기반으로 하며, 더 깊은 문장 통합과 LLM의 더 효과적인 온라인 활용을 통해 강화되었습니다. 이 조합은 RAG 시스템을 인간의 장기 기억 효과에 더 가깝게 만들어, 최신 임베딩 모델 대비 연관 기억 작업에서 7%의 성능 향상을 달성함과 동시에 우수한 사실 지식과 의미 이해 기억 능력을 보여줍니다. 이 연구는 LLM을 위한 비모수적 지속 학습의 길을 열어줍니다. 우리의 코드와 데이터는 https://github.com/OSU-NLP-Group/HippoRAG에서 공개될 예정입니다.

English

Our ability to continuously acquire, organize, and leverage knowledge is a key feature of human intelligence that AI systems must approximate to unlock their full potential. Given the challenges in continual learning with large language models (LLMs), retrieval-augmented generation (RAG) has become the dominant way to introduce new information. However, its reliance on vector retrieval hinders its ability to mimic the dynamic and interconnected nature of human long-term memory. Recent RAG approaches augment vector embeddings with various structures like knowledge graphs to address some of these gaps, namely sense-making and associativity. However, their performance on more basic factual memory tasks drops considerably below standard RAG. We address this unintended deterioration and propose HippoRAG 2, a framework that outperforms standard RAG comprehensively on factual, sense-making, and associative memory tasks. HippoRAG 2 builds upon the Personalized PageRank algorithm used in HippoRAG and enhances it with deeper passage integration and more effective online use of an LLM. This combination pushes this RAG system closer to the effectiveness of human long-term memory, achieving a 7% improvement in associative memory tasks over the state-of-the-art embedding model while also exhibiting superior factual knowledge and sense-making memory capabilities. This work paves the way for non-parametric continual learning for LLMs. Our code and data will be released at https://github.com/OSU-NLP-Group/HippoRAG.