Error Compensated Recursive Prediction Algorithm for Multi-step Prediction of Multi-variate Time-series using Double DQN

Abstract

본 논문에서는 단일 단계 예측을 다단계로 확장하는 새로운 방법을 제안한다 제안 된 방법은 2 단계의 연속적인 단계로 이루어지며, 단일 단계 예측 단계와 회귀적 예측 오차 보상 단계이다. 단일 단계 예측 모델에서 설정된 값보다 높은 정확도를 달성하면 모델은 학습을 중지하고 다음 단계인 오차 보상 단계로 이동한다. 이전 단계의 단일 단계 예측 모델은 회귀적으로 적용되며, 별도의 Deep Q-Network는 오차와 미리 정의된 상태를 통해 적절한 보상 값을 출력한다. 또한 Deep Q-Learning의 초과 추정 문제를 해결하기 위해Double DQN이 네트워크 업데이트에 적용되었다. 'Iron Ore Price' 데이터 세트를 이용한 시뮬레이션 테스트는 제안 된 방법이 RMSE (Root Mean Square Error)와 Mean Absolute Percentage Error (MAPE) 등에서 15 단계 예측과 30 단계 예측 모두 개선된 성능을 보이는 것으로 확인할 수 있다. 제안된 알고리즘은 모든 단일단계 예측 모델에 대해 범용적으로 적용 가능하며, 최소한의 수정만으로 쉽게 적용 가능하다.

This paper proposes a new method to extend single-step prediction to multi-step prediction for multi-variate time-series data. The proposed method consists of two consecutive phases, which are single-step prediction phase and recursive prediction error compensation phase. When the single-step prediction model achieves accuracy above a required value, the model stops training and proceeds to the error compensation phase. When the single-step prediction from the preceding model is applied recursively, the separate Deep Q-Network trains from the temporal error and the predefi ned state to output an appropriate action value to compensate the error for each step. To remedy the over-estimation problem of Deep Q-Learning, Double DQN was applied for an update of the network. The simulation test using 'Iron Ore Price' dataset demonstrates that the proposed method has lower Root Mean Square Error (RMSE) and Mean Absolute Percentage Error (MAPE) for the future horizon length of 15 and 30. The algorithm is for a general purpose in that any other single-step prediction models for multi-variate time-series could be applied easily with only minimum modifi cation necessary.