AdaPTS: 단변량 기반 모델을 다변량 확률적 시계열 예측에 적응시키기

AdaPTS: Adapting Univariate Foundation Models to Probabilistic Multivariate Time Series Forecasting

February 14, 2025

저자: Abdelhakim Benechehab, Vasilii Feofanov, Giuseppe Paolo, Albert Thomas, Maurizio Filippone, Balázs Kégl

cs.AI

초록

사전 학습된 기초 모델(FMs)은 단변량 시계열 예측 과제에서 탁월한 성능을 보여왔습니다. 그러나 특징 간의 복잡한 의존성 관리와 예측의 불확실성 정량화를 포함한 여러 실질적인 과제들이 여전히 존재합니다. 본 연구는 이러한 중요한 한계를 해결하기 위해 어댑터를 도입함으로써, 사전 학습된 단변량 시계열 FMs를 다변량 과제에 효과적으로 활용할 수 있도록 하는 특징 공간 변환을 제안합니다. 어댑터는 다변량 입력을 적절한 잠재 공간으로 투영하고, 각 차원에 대해 FM을 독립적으로 적용하는 방식으로 작동합니다. 표현 학습 및 부분적 확률적 베이지안 신경망에 관한 문헌에서 영감을 받아, 우리는 다양한 어댑터와 최적화/추론 전략을 제시합니다. 합성 및 실제 데이터셋에서 수행된 실험은 어댑터의 효능을 확인하며, 기준 방법 대비 예측 정확도와 불확실성 정량화에서 상당한 개선을 보여줍니다. 우리의 프레임워크인 AdaPTS는 다변량 맥락에서 시계열 FMs를 활용하기 위한 모듈식, 확장 가능하며 효과적인 솔루션으로서 어댑터를 자리매김함으로써, 실제 애플리케이션에서의 보다 폭넓은 채택을 촉진합니다. 코드는 https://github.com/abenechehab/AdaPTS에서 공개합니다.

English

Pre-trained foundation models (FMs) have shown exceptional performance in univariate time series forecasting tasks. However, several practical challenges persist, including managing intricate dependencies among features and quantifying uncertainty in predictions. This study aims to tackle these critical limitations by introducing adapters; feature-space transformations that facilitate the effective use of pre-trained univariate time series FMs for multivariate tasks. Adapters operate by projecting multivariate inputs into a suitable latent space and applying the FM independently to each dimension. Inspired by the literature on representation learning and partially stochastic Bayesian neural networks, we present a range of adapters and optimization/inference strategies. Experiments conducted on both synthetic and real-world datasets confirm the efficacy of adapters, demonstrating substantial enhancements in forecasting accuracy and uncertainty quantification compared to baseline methods. Our framework, AdaPTS, positions adapters as a modular, scalable, and effective solution for leveraging time series FMs in multivariate contexts, thereby promoting their wider adoption in real-world applications. We release the code at https://github.com/abenechehab/AdaPTS.