금융 시계열 예측을 위한 검색 보강 대형 언어 모델

Retrieval-augmented Large Language Models for Financial Time Series Forecasting

February 9, 2025

저자: Mengxi Xiao, Zihao Jiang, Lingfei Qian, Zhengyu Chen, Yueru He, Yijing Xu, Yuecheng Jiang, Dong Li, Ruey-Ling Weng, Min Peng, Jimin Huang, Sophia Ananiadou, Qianqian Xie

cs.AI

초록

주식 가격 변동 예측은 금융 시계열 예측에서의 기본적인 작업으로, 방대한 양의 시계열 데이터에서 중요한 영향 요인을 식별하고 검색하는 것을 필요로 합니다. 그러나 기존의 텍스트 훈련 또는 숫자 유사성 기반 검색 방법은 복잡한 금융 분석을 처리하는 데 한계가 있습니다. 이를 해결하기 위해 우리는 금융 시계열 예측을 위한 첫 번째 검색 증강 생성 (RAG) 프레임워크를 제안합니다. 이 프레임워크는 세 가지 주요 혁신을 갖추고 있습니다: 백본으로서 파인튜닝된 1B 매개변수 대형 언어 모델(StockLLM), LLM 피드백을 활용한 새로운 후보자 선택 방법, 그리고 쿼리와 역사적으로 중요한 시퀀스 간 유사성을 극대화하는 교육 목표. 이를 통해 저희의 검색기인 FinSeer는 복잡한 금융 데이터에서 노이즈를 최소화하면서 의미 있는 패턴을 발견할 수 있습니다. 또한 금융 지표와 역사적 주식 가격을 통합한 새로운 데이터셋을 구축하여 FinSeer를 교육하고 견고한 평가를 보장합니다. 실험 결과는 우리의 RAG 프레임워크가 베어 StockLLM과 무작위 검색을 능가하며, FinSeer가 기존의 검색 방법을 뛰어넘어 BIGDATA22에서 8% 더 높은 정확도를 달성하고 더 중요한 시퀀스를 검색한다는 것을 입증합니다. 이 작업은 금융 예측에서 맞춤형 검색 모델의 중요성을 강조하고, 미래 연구를 위한 새로운 프레임워크를 제공합니다.

English

Stock movement prediction, a fundamental task in financial time-series forecasting, requires identifying and retrieving critical influencing factors from vast amounts of time-series data. However, existing text-trained or numeric similarity-based retrieval methods fall short in handling complex financial analysis. To address this, we propose the first retrieval-augmented generation (RAG) framework for financial time-series forecasting, featuring three key innovations: a fine-tuned 1B parameter large language model (StockLLM) as the backbone, a novel candidate selection method leveraging LLM feedback, and a training objective that maximizes similarity between queries and historically significant sequences. This enables our retriever, FinSeer, to uncover meaningful patterns while minimizing noise in complex financial data. We also construct new datasets integrating financial indicators and historical stock prices to train FinSeer and ensure robust evaluation. Experimental results demonstrate that our RAG framework outperforms bare StockLLM and random retrieval, highlighting its effectiveness, while FinSeer surpasses existing retrieval methods, achieving an 8\% higher accuracy on BIGDATA22 and retrieving more impactful sequences. This work underscores the importance of tailored retrieval models in financial forecasting and provides a novel framework for future research.