-
0 引言
-
20 世纪90年代，中国证券市场重新开放并正式改革，中国股市随之进入新的发展阶段．随着市场经济改革的深化，股票市场不仅扩大了经济活动的规模，同时也提高了人们的投资意识[1-2]．中国股市总市值从1990年的3.3亿美元增长到2022年的12万亿美元，中国股市已经成为世界第二大股市．股票因其交易便利、高风险和高回报吸引了广大投资者，如何在股票市场中获取高收益则成为投资者们津津乐道的话题．股票预测是一种预测股价的方法和有效的投资方式，它通过分析股票市场的历史数据，来预测未来股票价格的运动趋势．
-
股票预测研究早期主要通过技术分析和统计学模型来预测股票走势，如道氏理论、自回归移动平均模型（Autoregressive Integrated Moving Average，ARIMA）、量价理论等，但面对日益壮大的股票市场及其存在的海量数据，仅仅依赖传统的技术分析不能满足市场的需求．随着机器学习的兴起，很多新兴的技术都广泛地应用在股票数据研究中，如决策树（Decision Tree，DT）、支持向量机（Support Vector Machine，SVM）、随机森林（Random Forest，RF）等[3-5]．然而，股票价格数据具有非线性、高噪声、强时变性等特点[6]，机器学习模型通常会因过拟合而降低预测模型的泛化能力，以及模型在训练数据上表现良好，但在新数据上表现不佳．在时间序列预测中，由于数据随时间的变化而变化，基于机器学习的模型可能无法很好地适应所有类型的数据．
-
近几年来，深度学习技术不断发展，在语音和图像识别方面取得的成果，远远超过先前相关技术．研究表明，深度学习方法能够更好地预测股票未来走势，有更高的泛化能力，如文献[7-11]分别使用单一结构的深度学习模型，对股票价格进行预测．然而，单一结构网络模型预测精度不高，因此，学者们对单一网络结构进行了改进．Kim等[12]利用CNN（Convolutional Neural Network）提取股票蜡烛图特征、LSTM提取股票时间特征，CNN-LSTM模型在标准普尔500指数上的实验均优于单个模型．Lee等[13]提出一种结合门递归单元（Gate Recurrent Unit，GRU）和注意力机制（Attention Mechanism，AM）的股票预测模型（GRU-Attention），将股票基础数据作为模型输入，预测未来交易日的涨跌概率．Lu等[14]使用一维卷积神经网络提取输入数据的特征，将提取的特征输入基于注意力机制的双向长短期记忆网络，最后通过全连接层输出预测值，实验结果表明CNN-BiLSTM-AM模型具有较好的泛化能力．但上述预测模型功能单一，大多只针对特定的股票或单一股指，同时，预测模型存在时效性问题．因此，股票预测模型的网络结构在精度和深度方面还有很大的优化空间．
-
有鉴于此，本文提出双向选股策略选取股票实验对象，以长短期记忆网络（Long Short-Term Memory，LSTM）为基础，提出融合自注意力机制（Self-Attention，SA）和时间卷积网络（Temporal Convolution Network，TCN）的双向长短期记忆神经网络（BiLSTM-SA-TCN）股票预测模型，通过在多个股票数据集的实验，验证了本文模型的可行性和有效性．实验结果表明，本文模型具有良好的泛化能力，并解决了股票预测模型存在的时效性问题．
-
1 算法介绍
-
1.1 BiLSTM
-
LSTM是循环神经网络（Recurrent Neural Network，RNN）的一类变种结构，采取递归的网络架构，结合适当的基于梯度的学习算法，解决了RNN模型由于输入序列过长而产生的梯度消失问题[15]．LSTM层由一组循环连接的存储单元组成，每个存储单元包含一个或多个细胞结构，每个细胞结构通过三个“门”（即输入门、输出门、遗忘门）保留或遗忘数据信息．
-
首先，遗忘门根据上个时刻的ht-1和当前的输入数据xt得到ft，来决定数据的保留与舍弃; 其次，输入门通过σ层产生信息的更新值it，并通过tanh层生成新的候选向量; 然后，遗忘门将舍弃的数据ft与上一时刻的细胞状态Ct-1相乘，并与细胞状态更新的数据相结合，得到新的细胞状态Ct; 最后，输出门通过σ层，得到初始输出ot，并把Ct输入到tanh层，得到输出部分ht．
-
1.2 自注意力机制
-
注意力机制起源于人脑，人类视觉可以快速聚焦在注意力权重高的关键区域.注意力机制可以计算输入序列中每个元素的重要性，并根据重要性为不同的特征分配不同的权重[16]．注意力机制的计算图1所示，主要为如下3个部分:
-
1）计算每个查询（Query）和关键字（Key）之间的相似度，以获得相应的权重值（Value）; 2）使用Softmax函数对权重进行归一化，获得权重系数; 3）将权重系数和相应值加权求和，以获得最终的注意力值.如式（7）所示:
-
图1 注意力机制
-
Fig.1 Attention mechanism
-
而自注意力机制是注意力机制的一种特例，它的Query、Key、Value3个矩阵为同一个输入，自注意力机制能把输入序列的不同信息联系起来，更擅长捕获重要数据．
-
1.3 时间卷积网络
-
TCN是Lea等[17]在卷积神经网络的基础上提出的一种可以用于处理时间序列数据的网络结构．TCN的网络结构是由堆叠的一维全连接卷积层组成，每个卷积层具有独特的因果卷积结构，如图2所示，它可以接受任意长度的输入序列，并输出相同长度，在T时刻的输出只与T之前的元素进行卷积，这避免了未来信息的“泄露”．因果卷积计算公式如下:
-
其中，x为输入，f为过滤器，d为扩张系数，k为卷积核大小，s-di决定了只对过去的输入数据做卷积操作．
-
1.4 BiLSTM-SA-TCN预测模型
-
为了解决股票预测模型预测功能单一化和时效性问题，本文在LSTM神经网络基础上进行改进，提出一种融合自注意力机制和时间卷积网络的BiLSTM股票预测模型．通过引入自注意力机制可以从众多股票特征信息中选择出当前任务中更重要的信息，即能够有效解决循环神经网络的时效性问题；通过引入时间卷积网络，使得模型可以并行处理时间序列信息，提高模型预测准确度和训练效率．预测模型结构如图3所示．
-
图2 时间卷积网络
-
Fig.2 Temporal convolution network
-
本文使用BiLSTM作为输入序列数据的特征提取和预处理的网络层，输入序列数据为3D张量，即样本（Samples）、时间步长（Time_steps）、特征（Features）．BiLSTM不仅能将长输入序列转换成强化集合特征，而且，通过使用两个LSTM网络，一个从前向后处理序列，另一个从后向前处理序列，可以捕获序列中的双向信息．因为前面的股票数据可能会对后面的产生影响，可以有效学习股票数据中长期依赖关系、挖掘输入序列的特征规律，从而提高序列建模的准确性．
-
图3 股票预测模型结构
-
Fig.3 Structure of the proposed stock price prediction model
-
在股票预测分析的过程中，股票序列数据的时间范围通常较大，LSTM在处理较长的时序序列时会出现梯度衰减过快的问题，这会影响LSTM网络学习股票数据中的重要特征信息，导致模型出现重要特征信息丢失的情况，从而导致模型的预测准确率下降．针对上述情况，本文改进了网络结构，引入自注意力机制，使得模型可以优先考虑隐藏层中与股票数据的重要特征信息，忽略其他无关信息，通过计算多源特征融合股票序列中每个元素的重要性，并根据重要性为不同的特征分配不同的权重，使得模型可以关注到时间序列其他位置的内容，并将这些内容作为帮助指引，提高模型的预测准确率．
-
随着网络层数的增加，以及迭代次数增加，神经网络在训练过程中梯度更新的幅度过大，导致权重变化过快，从而导致模型出现网络退化效应，即模型在处理新数据时表现不佳，因为它没有很好地捕捉训练数据之间的潜在关系．为此，本文引入TCN网络层处理时间序列，通过TCN中的卷积层来捕获序列的依赖关系，揭示数据内部的隐藏关系.同时，残差连接可以减少网络深度和参数数量，提高模型的泛化能力和训练效率．最后，将TCN网络层计算结果通过Dense层输出，输出结果为次交易日的股票收盘价预测值．
-
2 实验结果及分析
-
2.1 股票数据集构建
-
通过Tushare（https://tushare.pro/）提供的接口获取股票历史交易数据，其中，历史交易数据主要包括开盘价（open）、收盘价（close）、最低价（low）、最高价（high）、成交额（amount）、成交量（volume）、涨跌幅（change_percent）和涨跌额（change），并通过每日收盘价计算得到5日均线和布林线，两个技术指标分别表示股价的周、月趋势．以往的研究[18-21]仅选取沪深指数或沪深股市中的几只股票进行实验，所选股票的价格趋势较为稳定，缺乏波动性，且实验覆盖面较差，导致模型实验结果不具说服力．因此，本文提出双向的选股策略选取实验对象，使得实验覆盖面更广．横向，通过公司市值大小进行选择，分为大盘股和中小盘股; 纵向，按照股票分类进行选择，包括金融、房地产、煤炭、钢铁、有色金属、石油化工、汽车等7大总类．选取的股票如表1所示．
-
本实验选取每只股票最近2 300个交易日的股票数据进行实验，时间范围2012年8月—2022年8月．
-
将股票交易数据和相关技术指标（5日均线、布林线）作为股票数据集．但由于股票数据集的数据存在较大差异，为了消除量纲，需要对数据作归一化处理[22]，即将数据按比例缩放到一个较小的特定区间内．数据的归一化可以方便数据的处理，以及保证模型训练时收敛加快，有助于提高模型的性能．
-
其中，Xmin和Xmax分别为数据集中的最小值和最大值．
-
2.2 神经网络模型训练策略
-
本文实验在Windows 10操作系统下搭建，使用GPU（Graphics Processing Unit）版本的Tensorflow框架，实验环境配置如表2所示．
-
在本实验中，滑动窗口周期大小为10，即通过前10天的股票数据预测后一天的股票收盘价．在训练配置参数中，首先需要更新神经网络中的权重和偏置，使用随机梯度下降法使损失函数最小化，其次需要控制训练过程的迭代次数以便逐步提高模型的准确性，epoch设置为100．为了有效地利用计算资源和加速模型的训练，batch size设置为5，学习率设置为0.001，其大小会影响模型的训练速度和稳定性以及最终的训练效果．具体模型参数设置如表3所示．
-
评价指标包括均方根误差（RMSE）、平均绝对误差（MAE）和决定系数（R2）:
-
其中，为预测值，yi为真实值．
-
2.3 实验及结果分析
-
首先使用本文模型对不同时期的股票数据进行实验，其次使用现有的股票预测模型与不同的基准模型进行对比．
-
2.3.1 股票预测
-
使用本文模型对14只股票进行实验，并通过不同时期（2012-08—2021-08、2012-08—2022-02、2012-08—2022-07、2012-08—2022-08）的股票数据，来验证本文模型的有效性，同时检验本文模型是否存在时效性的问题，实验结果如图4所示．由图4可以发现，BiLSTM-SA-TCN模型在不同时期的RMSE的平均值分别为0.087、0.085、0.083和0.083，R2的平均值分别为0.938、0.939、0.937和0.94，MAE的平均值分别为0.035、0.037、0.032和0.032，表明BiLSTM-SA-TCN模型处理新数据时表现良好，预测结果较为平稳，能够捕捉训练数据之间的潜在关系，具有较高的准确性和泛化能力，且不存在时效性问题．
-
2.3.2 预测模型对比实验
-
为了进一步验证BiLSTM-SA-TCN模型的有效性和先进性，需要与其他基准模型进行对比实验．基准模型选择如下:CNN-LSTM[12]，利用长短期记忆模型（LSTM）建立一个预测未来股票市场价值的模型; GRU-Attention[13]，结合门控循环神经网络和注意力机制的预测模型，对股票未来的涨跌进行预测; CNN-BiLSTM-AM[14]，CNN用于提取输入数据的特征，BiLSTM用来提取的特征数据来预测股票第2天的收盘价，利用AM捕捉特征状态对过去不同时刻股票收盘价的影响．实验结果如表4—10所示．
-
图4 BiLSTM-SA-TCN模型的预测性能
-
Fig.4 Prediction performance of the proposed BiLSTM-SA-TCN model
-
从表4—10可以发现，LSTM模型的评价指标大多低于CNN-BiLSTM-AM、GRU-Attention和BiLSTM-SA-TCN模型，且训练效率较低．虽然LSTM能够保留或遗忘序列特征信息，但单一的LSTM模型的网络结构存在缺陷，导致LSTM模型只能大致拟合股票走势，预测值与真实值存在较大误差，模型的拟合度也较低．对于CNN-LSTM模型而言，通过CNN提取股票数据特征，再通过LSTM网络进行学习，能较好地提高股票预测模型预测精度，且模型训练效率较高，但在部分数据集出现了预测失准的情况，如比亚迪和东风汽车．如何提高预测模型的精度，这需要神经网络模型重点关注与股票价格相关的特征信息，利用注意力机制可以很好地解决这一问题．
-
从实验中能够发现CNN-BiLSTM-AM和GRU-Attention模型的各项评价指标在64%的数据集上明显优于LSTM和CNN-LSTM模型，表明结合了注意力机制的神经网络模型在一定程度综合了局部重要信息特征，提高了模型的泛化能力，能够让模型的预测结果更加准确，同时提高模型的训练效率．但股票价格处于骤涨或骤跌的时段，CNN-BiLSTM-AM和GRU-Attention模型拟合度较低，出现较大的预测误差，表明这两个模型无法学习到股票价格骤涨或骤跌的特征信息．鉴于以上的基准预测模型的实验结果，它们可能不适用于发展中经济体的股票市场．
-
对于BiLSTM-SA-TCN模型，实验结果表明在78%的股票数据集中R2评价指标最优，在71%的数据集中MAE评价指标最优，RMSE的平均指标比LSTM、CNN-LSTM、GRU-Attention和CNN-BiLSTM-AM模型分别提高14%、25%、14.2%和7.8%，在模型训练方面，BiLSTM-SA-TCN模型展现了卓越的特性，其收敛速度较快，加速了模型训练过程，从而更迅速地解决了问题并提高了预测性能. 表明BiLSTM-SA-TCN模型比其他基准模型拥有更准确的表达能力，符合股票价格变动的基本趋势．同时，在股票价格骤涨或骤跌的时段下，BiLSTM-SA-TCN模型的拟合效果更优，表明BiLSTM-SA-TCN模型可以重点关注并学习时序序列的股票重要特征信息，使得神经网络模型能够在股票价格发生剧烈波动的情况下，预测结果更加精准．
-
3 结论
-
在LSTM神经网络的基础上，提出了融合自注意力机制和时间卷积网络的BiLSTM神经网络股票预测模型．在股票预测模型中加入自注意力机制能够有效学习股票数据相关性，同时，加入TCN可以更容易处理长时间序列信息，提高模型预测准确率．通过在不同股票数据集上与多个模型实验对比，结果表明本文模型具有更小的误差、更高的准确率、更好的拟合度和较高的训练效率，解决了股票预测模型预测功能单一和存在时效性的问题．
-
下一步将从两个方面进一步研究:一是增加次新股或上市几年的股票数据，对现有的预测模型进行修正和优化，以提高其对这些股票的预测效果; 二是重点考虑政策、突发新闻事件、经济形势和公司财报等因素对于股票价格的影响，建立一个更为全面的预测模型，以更好地应对市场变化．
-
参考文献
-
[1] Algheriani N M S,Majstorovic V D,Kirin S,et al.Risk model for integrated management system[J].Tehnički Vjesnik,2019,26(6):1833-1840
-
[2] Liu Y B,Hu Z Y,Li H B,et al.Does preemption lead to more leveled resource usage in projects?A computational study based on mixed-integer linear programming[J].Economic Computation and Economic Cybernetics Studies and Research,2019,53(4):243-258
-
[3] Zhou F,Zhang Q,Sornette D,et al.Cascading logistic regression onto gradient boosted decision trees for forecasting and trading stock indices[J].Applied Soft Computing,2019,84:105747
-
[4] Kurani A,Doshi P,Vakharia A,et al.A comprehensive comparative study of artificial neural network(ANN)and support vector machines(SVM)on stock forecasting[J].Annals of Data Science,2023,10(1):183-208
-
[5] Sadorsky P.A random forests approach to predicting clean energy stock prices[J].Journal of Risk and Financial Management,2021,14(2):48
-
[6] 韩金磊,熊萍萍,孙继红.基于LSTM和灰色模型的股价时间序列预测研究[J].南京信息工程大学学报(自然科学版),2023,15(6):631-642.HAN Jinlei,XIONG Pingping,SUN Jihong.Stock price time series prediction based on LSTM and grey model[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2023,15(6):631-642
-
[7] Naik N,Mohan B R.Intraday stock prediction based on deep neural network[J].National Academy Science Letters,2020,43(3):241-246
-
[8] Selvin S,Vinayakumar R,Gopalakrishnan E A,et al.Stock price prediction using LSTM,RNN and CNN-sliding window model[C]//2017 International Conference on Advances in Computing,Communications and Informatics(ICACCI).September 13-16,2017,Udupi,India.IEEE,2017:1643-1647
-
[9] Chen K,Zhou Y,Dai F Y.A LSTM-based method for stock returns prediction:a case study of China stock market[C]//2015 IEEE International Conference on Big Data.October 29-November 1,2015,Santa Clara,CA,USA.IEEE,2015:2823-2824
-
[10] Nelson D M Q,Pereira A C M,de Oliveira R A.Stock market’s price movement prediction with LSTM neural networks[C]//2017 International Joint Conference on Neural Networks(IJCNN).May 14-19,2017,Anchorage,AK,USA.IEEE,2017:1419-1426
-
[11] Elliot A,Hsu C H.Time series prediction:predicting stock price[J].arXiv e-print,2017,arXiv:1710.05751
-
[12] Kim T,Kim H Y.Forecasting stock prices with a feature fusion LSTM-CNN model using different representations of the same data[J].PLoS One,2019,14(2):e0212320
-
[13] Lee M C.Research on the feasibility of applying GRU and attention mechanism combined with technical indicators in stock trading strategies[J].Applied Sciences,2022,12(3):1007
-
[14] Lu W J,Li J Z,Wang J Y,et al.A CNN-BiLSTM-AM method for stock price prediction[J].Neural Computing and Applications,2021,33(10):4741-4753
-
[15] Smagulova K,James A P.A survey on LSTM memristive neural network architectures and applications[J].The European Physical Journal Special Topics,2019,228(10):2313-2324
-
[16] Niu Z Y,Zhong G Q,Yu H.A review on the attention mechanism of deep learning[J].Neurocomputing,2021,452:48-62
-
[17] Lea C S,Vidal R,Reiter A,et al.Temporal convolutional networks:a unified approach to action segmentation[C]//European Conference on Computer Vision.October 10-16,2016,Amsterdam,Netherlands.2016:47-54
-
[18] 邓佳丽,赵凤群,王小侠.MTICA-AEO-SVR股票价格预测模型[J].计算机工程与应用,2022,58(8):257-263.DENG Jiali,ZHAO Fengqun,WANG Xiaoxia.MTICA-AEO-SVR model for stock price forecasting[J].Computer Engineering and Applications,2022,58(8):257-263
-
[19] 李晓杰,崔超然,宋广乐,等.基于时序超图卷积神经网络的股票趋势预测方法[J].计算机应用,2022,42(3):797-803.LI Xiaojie,CUI Chaoran,SONG Guangle,et al.Stock trend prediction method based on temporal hypergraph convolutional neural network[J].Journal of Computer Applications,2022,42(3):797-803
-
[20] 张婷婷,唐振鹏,吴俊传.基于优化KELM模型的股票指数预测方法[J].统计与决策,2021,37(13):148-150.ZHANG Tingting,TANG Zhenpeng,WU Junchuan.Forecasting method of stock index based on optimized KELM model[J].Statistics & Decision,2021,37(13):148-150
-
[21] Gao Y,Wang R,Zhou E M.Stock prediction based on optimized LSTM and GRU models[J].Scientific Programming,2021:1-8
-
[22] Yadav A,Jha C K,Sharan A.Optimizing LSTM for time series prediction in Indian stock market[J].Procedia Computer Science,2020,167:2091-2100
-
摘要
针对股票预测模型存在时效性和预测功能单一化的问题,本文在长短期记忆网络(LSTM)的基础上,提出了融合自注意力机制(SA)和时间卷积网络(TCN)的双向长短期记忆(BiLSTM)神经网络(BiLSTM-SA-TCN)股票预测模型．BiLSTM-SA-TCN模型中的学习单元和预测单元可以有效学习重要的股票数据,同时能够抓取长时间的依赖信息,输出次日股票收盘价预测值．实验结果表明,BiLSTM-SA-TCN模型在多个数据集上的预测结果更加稳定，模型泛化能力较高，在对比实验中，BiLSTM-SA-TCN模型在大部分数据集上均方根误差最小，平均绝对值误差最小，拟合度R2最优．
Abstract
To address the poor timeliness and simple prediction functions of stock forecasting models,we propose a model abbreviated as BiLSTM-SA-TCN,which combines Bi-directional Long Short-Term Memory (Bi-LSTM) neural network,Self-Attention (SA) and Temporal Convolution Network (TCN).The learning unit and prediction unit in the proposed model can effectively learn important stock data,capture long-term dependency information,and output the predicted next day close price. The experimental results indicate that the BiLSTM-SA-TCN model has more stable prediction results on multiple data sets and has higher modle generalization ability.Furthormore,incomparative experiment,the BiLSTM-SA-TCN model achieves the lowest root mean square error,the lowest mean absolute error,and the best fitting degree of R2 on the majority of datasets.
