주식 시장 예측을 위한 그룹 집계를 사용하는 전문가 집합 모델인 MIGA: Mixture-of-Experts 번역

MIGA: Mixture-of-Experts with Group Aggregation for Stock Market Prediction

October 3, 2024

저자: Zhaojian Yu, Yinghao Wu, Genesis Wang, Heming Weng

cs.AI

초록

주식 시장 예측은 수십 년 동안 매우 어려운 문제로 남아 왔으며, 그 원래의 높은 변동성과 낮은 정보 노이즈 비율 때문에 도전적입니다. 기계 학습 또는 심층 학습을 기반으로 한 기존 솔루션은 전체 주식 데이터셋에서 훈련된 단일 모델을 활용하여 모든 유형의 주식에 대한 예측을 생성함으로써 우수한 성능을 나타냅니다. 그러나 주식 스타일과 시장 트렌드의 상당한 변동으로 인해, 단일 엔드 투 엔드 모델은 이러한 스타일화된 주식 특징의 차이를 완전히 포착하는 데 어려움을 겪어 모든 유형의 주식에 대해 비교적 부정확한 예측을 내놓습니다. 본 논문에서는 서로 다른 스타일의 주식에 대해 전문화된 예측을 생성하기 위해 서로 다른 스타일 전문가 간에 동적으로 전환하는 MIGA(전문가 혼합 및 그룹 집계) 프레임워크를 제안합니다. MIGA 내에서 서로 다른 전문가 간의 협력을 촉진하기 위해 새로운 내부 그룹 주의 구조를 제안하여 동일 그룹 내의 전문가들이 정보를 공유하고 이로써 모든 전문가의 전반적인 성능을 향상시킵니다. 결과적으로 MIGA는 CSI300, CSI500 및 CSI1000을 포함한 세 가지 중국 주식 지수 벤치마크에서 다른 엔드 투 엔드 모델을 크게 능가합니다. 특히, MIGA-Conv는 CSI300 벤치마크에서 24%의 초과 연간 수익을 달성하여 이전 최첨단 모델을 8% 절대적으로 능가합니다. 더 나아가, 주식 시장 예측을 위한 전문가 혼합에 대한 포괄적인 분석을 수행하여 향후 연구를 위한 가치 있는 통찰을 제공합니다.

English

Stock market prediction has remained an extremely challenging problem for many decades owing to its inherent high volatility and low information noisy ratio. Existing solutions based on machine learning or deep learning demonstrate superior performance by employing a single model trained on the entire stock dataset to generate predictions across all types of stocks. However, due to the significant variations in stock styles and market trends, a single end-to-end model struggles to fully capture the differences in these stylized stock features, leading to relatively inaccurate predictions for all types of stocks. In this paper, we present MIGA, a novel Mixture of Expert with Group Aggregation framework designed to generate specialized predictions for stocks with different styles by dynamically switching between distinct style experts. To promote collaboration among different experts in MIGA, we propose a novel inner group attention architecture, enabling experts within the same group to share information and thereby enhancing the overall performance of all experts. As a result, MIGA significantly outperforms other end-to-end models on three Chinese Stock Index benchmarks including CSI300, CSI500, and CSI1000. Notably, MIGA-Conv reaches 24 % excess annual return on CSI300 benchmark, surpassing the previous state-of-the-art model by 8% absolute. Furthermore, we conduct a comprehensive analysis of mixture of experts for stock market prediction, providing valuable insights for future research.