0 引言

农产品作为关系国计民生的大宗商品之一，是农业经济发展中重要的组成部分，其价格剧烈波动将阻碍农产品经济的可持续健康发展．而期货市场具备套期保值与价格发现功能，稳定高效的农产品期货交易市场预测机制在稳定农产品供应量、粮食现货价格预警方面具有重要意义，也能为政府决策者制定农业经济政策提供重要参考^[1]．

传统的农产品时间序列预测建模方法主要基于计量统计模型，该类模型具有较强的线性拟合能力，包括ARIMA、ETS、GARCH等^[2]．然而，以上传统计量统计模型非线性建模能力较差，随着市场影响因素的增多，模型泛化能力也随之下降．因此，不少学者将分解集成策略与预测模型相结合以提高农产品时间序列预测精度^[3]．分解集成预测方法是一种分而治之的策略，常见的分解方法包括小波分解（WD）^[4]、经验模态分解（EMD）^[5]以及自适应噪声完备经验模态分解（Complementary Ensemble Empirical Mode Decomposition with Adaptive Noise，CEEMDAN）^[6]等，这些分解方法在时序预测任务中起到重要作用．例如:唐振鹏等^[7]利用VMD与EMD进行粮食期货价格序列二次分解，再进行集成学习预测; Zhou等^[8]利用CEEMDAN分解原油价格序列后使用XGBoost算法对其进行集成预测．

随着人工智能算法的发展，基于神经网络的深度学习预测模型被应用于农产品时间序列预测领域，常见的算法包括长短期记忆网络（LSTM）^[9]、时间卷积网络（Temporal Convolution Network，TCN）^[10]等．以往的研究表明，LSTM具备记忆时序特征能力，TCN则具有较强的局部时序相关性建模能力，上述模型在农产品时间序列短期预测领域具有较强优势^[11-12]．此外，这些模型在各类农产品时间序列预测任务上呈现优越的非线性建模能力．Wang等^[13]利用LSTM对大连期货交易所的大豆期货价格进行预测，验证了LSTM模型具有更好的预测精度; Chuluunsaikhan等^[14]将主题文本建模技术与深度学习模型CNN、LSTM相结合，预测了韩国市场猪肉每日零售价格; 张杰等^[15]构建了融合传递熵的图神经网络，有效地提高了大豆期货价格走势预测精度．

然而，上述深度学习模型对于长序列的全局建模仍具有局限性，因此有学者开始尝试将全局建模能力极佳的注意力机制与深度学习模型融合并应用到农产品时间序列预测领域^[16]．

注意力机制最早应用于计算机视觉中^[17]．2017年，谷歌机器翻译团队提出了经典的Transformer模型^[18]，该模型采用多头自注意力机制（Multi-head Self-Attention）自动捕捉输入序列不同位置处的相对关联来进行机器翻译任务，并且取得了良好的效果; Niu等^[19]利用CEEMDAN分解能源类时间序列，再利用融合注意力机制的GRU模型进行预测，预测精度得到显著提高; 贾宁等^[20]设计了LSTM-DA模型用于蔬菜类农产品价格预测，先利用CNN层提取局部特征，再利用LSTM提取序列特征，两层均融合了注意力机制，有效地降低了预测误差; Yin等^[21]利用STL分解策略将蔬菜价格分解为趋势成分、季节性成分和残差成分，并使用融合注意力机制的LSTM进行预测，解决了因季节性影响而产生的预测滞后问题．

本文结合传统复杂时间序列分解集成建模策略与最新人工智能理论研究各自的优势，提出一种分解集成预测策略下融合多阶段自注意力单元Transformer-Encoder的时间卷积网络模型，并应用在农产品期货收益率序列预测任务中．本文设计的CEEMDAN-Transformer-Encoder-TCN方法主要的创新点和贡献点如下:

1）在TCN建模过程中融合了多阶段自注意力单元Transformer-Encoder，注意力机制与TCN模型的因果卷积机制两者形成互补，有效地增强了模型局部与全局建模能力，自动优化农产品期货显著性时间点与季节性成分的建模权重，构建了一种新颖的时间卷积神经网络结构．

2）由于农产品期货收益率具有非平稳、非线性特征，基于CEEMDAN将收益率序列分解为多个频率的IMF（Intrinsic Mode Function）分量，降低了序列复杂度．同时，采用时序交叉验证与参数迁移的方式构建的模型训练流程有效地挖掘了子序列特征，改善了预测效果．

3）基于真实大豆期货收益率数据集进行实验，探索了一种新的农产品期货收益率预测方法，未来可扩展运用到多种农产品期货预测任务上．

1 研究方法

1.1 自适应噪声完备经验模态分解（CEEMDAN）

CEEMDAN是一种有效的信号序列分解算法，由Torres等^[22]在2011年提出，其对残差加入高斯白噪声并继续分解计算IMF分量均值，有效地解决了白噪声从高频到低频的转移传递问题．CEEMDAN算法过程描述如下:

步骤1.将待分解信号x（t）添加K 次均值为0的高斯白噪声，构造K 个待分解序列x（t）:

式中:ε 为高斯白噪声权值系数，δ_i（t）为第i 次处理时产生的高斯白噪声; i=1，2，3，···，K．

步骤2.对步骤1得到的序列x_i（t）进行EMD分解，得到多个第1阶模态分量并求总体平均作为CEEMDAN分解得到的第1个IMF分量:

步骤3.计算去除第1个模态分量后的残差:

步骤4.将分解后得到的第j阶段余量信号序列添加特定噪声后，继续进行EMD分解:

式中:f_IMF，j（t）表示CEEMDAN分解得到的第j 个模态分量; E_j（·）表示对序列进行EMD分解后的第j 个IMF分量; ε_j 表示CEEMDAN对第j 阶段余量信号加入噪声的权值系数; r_j+1（t） 表示第j+1 阶段残差信号序列．

步骤5.重复上述步骤，如果满足 EMD 停止条件，则迭代停止，CEEMDAN算法分解结束，原始信号序列x（t）被分解为

1.2 Transformer-Encoder模型

人类大脑在处理接收到的画面信息时无法同时仔细观察眼前的一切，会选择性地聚焦某些重要且较有价值的区域，这种机制被称为注意力机制．本文将其作为神经网络组件的一部分以有效地提取全局特征权重信息，其公式如下:

式（7）把自注意力机制描述成查询（Query，Q）和键值对（Key-Value，K-V）之间的映射关系.当Query 和Key 的输入维度都是d_K 维即Q=K 时，则为自注意力，Value 是d_v 维，计算Q 和K 的点积结果，除以$\sqrt{d_K}$以简化特征维度，再使用softmax归一化运算求得权重，权重乘以V 可得到当前时间步最终优化后的特征向量．

将n 个自注意力模块并联组合，能让每个模块去优化序列中不同特征部分，运算公式如下:

式中，W为需要训练的权重值．

Transformer模型包含有Transformer-Encoder与Transformer-Decoder两个部分．本文将编码器端引入预测模型之中作为神经网络的一层，编码器端用于进行进一步的高层次特征提取优化，为下一层网络提供有效的权重信息．Transformer-Encoder架构如图1所示．

1.3 时间卷积网络（TCN）

在基于神经网络模型处理时序问题的研究中，通常采用经典的RNN结构，但最新的研究发现TCN在多种任务上表现不输于RNN．TCN本质上是针对一维空间进行全维度卷积以处理时序问题的神经网络，具有捕捉长期时序关系的能力，其优点如下:不同于RNN的顺序计算，TCN的计算速度更快，所需内存量更少，可以进行大规模的并行处理从而缩短了神经网络训练和验证的时间; TCN为改变卷积核感受域大小提供了更多灵活性，通过堆叠更多的卷积层、使用更大的膨胀系数及增大滤波器大小等更好地控制模型时间记忆的长短; TCN运用了残差连接，避免了RNN中经常出现的梯度爆炸或梯度消失问题．

图2对TCN整体结构进行了说明，图3则表示TCN中每一层的残差结构．TCN主要包含3种基本结构:因果卷积、膨胀卷积与残差连接．TCN的每一个隐层之间使用膨胀卷积进行连接，每一个隐层即为一个因果卷积残差模块，TCN由多个因果卷积残差模块组成．

1.4 Transformer-Encoder-TCN模型

本文设计了一种新的时间卷积网络结构，设膨胀系数为4，构建包含有4层残差块的TCN网络，并在每一层因果残差块之间引入由自注意力单元构成的Transformer-Encoder，将每一层经因果卷积编码后的时间步特征作为其输入，通过自注意力机制进行特征权重优化后继续作为下一层因果残差块的输入，最后拼接一层全连接层作为预测输出，模型如图4所示．

Transformer-Encoder-TCN结构设计思路如下:

1）在时间步特征中融合位置编码能为模型提供当前时间步的前后顺序信息．最新的研究表明，模型层数越深、感受域越大，卷积操作可以在一定程度上编码目标的更多绝对位置信息^[23]．在本文提出的模型中，TCN的因果卷积残差模块为了保证输入与输出的神经元数量一致，在时间步中添加了Zero-padding进行时间步补全，这一机制同样为下一层Transformer-Encoder层隐式建模了位置信息，有助于更深层次的时序信息建模．

2）从互补性角度看，卷积是一种模板匹配式的局部操作运算，不同位置采用相同的卷积核进行滤波，一个卷积层通常只会建模邻域数据之间的关系．而自注意力机制则属于自适应滤波式的全局操作运算，一个Transformer-Encoder层具有并行化建模数据内部全局关系的能力，但其缺少对于局部信息的先验知识，因此卷积操作和自注意力机制可以形成良好的互补^[24]．

除此之外，由于农产品期货时间序列具有显著的季节性，自注意力机制在季节性特征建模中能发挥有效作用．自注意力机制能增强保留重要特征、减弱冗余特征，而季节性是一种周期性的重复特征，其往往在时序预测任务中发挥重要作用，运用自注意力机制能自动有效地增强季节性成分的建模权重，省略繁琐的季节性调整步骤; 同时，由于其优越的时间维度全局加权能力，不同周期的季节性成分加权后能获得较为平稳显著的季节性序列特征．

1.5 本文预测模型

本文的模型框架主要包括3个步骤:1）使用CEEMDAN分解方法对时间序列进行多尺度自适应分解，得到多个高频到低频排序的IMF分量与残差; 2）分解子序列的预测，使用Transformer-Encoder-TCN模型对各个IMF分量序列进行特征抽取; 3）将子序列预测值线性相加集成．本文预测模型结构如图5所示．

2 实验结果与分析

2.1 数据材料

为验证所提出模型的有效性，本文选取大豆期货作为实证研究对象，数据集爬取于中国南华期货公司的多类商品指数历史走势网站（http://www.nanhua.net/nhzc/varietytrend.html），该样本涵盖了2011年1月4日至2021年1月4日期间的大豆价格指数日度数据，共2 428个时间观测值，并对其进行对数处理以获得2011年1月5日至2021年1月4日期间大豆期货对数收益率序列（对数收益率$r_t=\mathrm{l}\mathrm{n}\frac{x_{t+1}}{x_t}$）．大豆对数收益率指数如图6所示，大豆价格和大豆对数收益率指数的常规描述性统计如表1 所示，可以观察到对数收益率指数均值明显围绕0附近上下波动．

从经济学意义的角度上讲，由于对数收益率具备可加性，其均值能正确反映出该投资物的真实收益率，收益率的预测更具重要意义．而从计算建模的角度看，对数收益率易于统计处理的性质给模型构建带来了巨大的便利性，取对数可以让数据更加平稳，削弱了原始价格变量的异方差与共线性．由图7可知，对数收益率序列围绕着0均值上下波动，数据呈正态分布，具有波动聚集性．

此外，本文通过单位根检验（Augmented Dickey-Fuller test，ADF）进行平稳性检验，判断序列是否存在单位根:如果序列平稳，则单位根不存在; 反之，序列不平稳即存在单位根．原假设存在单位根，如果得到的显著性检验统计量小于5%显著性水平下的临界值，则对应有95%的把握来拒绝原假设，说明序列平稳具有显著性.检验结果如表2所示，对数收益率序列在显著性水平为5%的情况下平稳性远高于价格序列．

2.2 预测过程

为提高预测模型的泛化能力，缓解时序预测中常出现的过拟合与概念漂移问题，本文采用时间序列交叉验证中的前向滚动窗口方法^[25]，通过分段预测^[26]并求误差均值来测试模型的整体预测效果．为了保证模型能学习到较长时间段内的规律，在每一个预测周期内，用过去3年的数据来构造输入序列，将时序排序的前90%数据作为训练集，并使用CEEMDAN进行序列逐级分解，得到当前预测周期由高频到低频排序的多尺度分量．

序列分解结果如图8所示，红色序列为原收益率序列，蓝色序列为IMF分量与残差，可以观察到序列被分解为高中低三类频级的分量．残差代表着收益率的长期发展趋势，低频项波动幅度代表重大事件对收益率的影响期限长短，期限越长期货市场受影响时间越久，高频项则代表短期期货市场受突发事件和供需事件引起的收益剧烈波动．

本文选择迁移学习式的训练策略，模型依次对当前周期得到的多尺度分量进行特征趋势提取，当上一个频率分量训练结束后，模型在上一个频率分量训练得到的参数基础上不断进行重训练，这种在预训练模型上进行参数微调（fine-tune）的训练方式有利于更好地捕捉不同时期的时序规律，加快模型训练收敛速度．而过去3年里最后10%数据则作为验证集，并将在验证集上预测效果最好的模型权重保存，接着使用未来6个月数据构造的测试集来检验模型预测效果．

在下一轮周期验证中，将构造的训练集、验证集与测试集整体往后推移6个月，以此类推，直至覆盖全部10 a样本，最后将分段训练得到的模型预测误差求平均．交叉验证分段预测过程如图9所示．

2.3 参数设置

超参数的合理设置对于模型效果具有至关重要的影响．由于本文的关键改进在神经网络模型结构创新，因此CEEMDAN分解方法仅采用py-EMD库中的内置默认参数设置，经过多次实验，TCN中因果卷积残差模块层数设置为4，各层卷积核数量分别设置为20、15、10、5，卷积核大小设置为2，膨胀因子则为2ⁿ，n 为残差块层数，而Transformer-Encoder中blocks设置为1，heads设置为5，即五头自注意力．

为了构建适合TCN输入格式的数据集，本文将时间滑动窗口设置为10，即使用过去10天的信息来预测下一个交易日的收益率，批大小（batch_size）设置为128，使用均方误差（MSE）作为损失函数，选择Adam算法进行梯度训练，初始学习速率设置为0.001，训练过程中使用余弦退火算法进行学习率调节，最大训练轮数设置为5 000，当连续5轮验证集误差不再下降时使用早停机制停止训练．

2.4 评价指标

本文对模型的评价指标从两个维度来选取:第1个维度采用均方根误差（Root Mean Squared Error，RMSE）和平均绝对误差（Mean Absolute Error，MAE）来衡量真实值和预测值之间的误差，其值越小越好; 第2个维度是方向性命中率（Directional Symmetry，DS），这一指标能衡量模型预测走势的精确度，取值范围为0至1，其值越接近1越好．

其中：n 为样本数量；x_t 和${\widehat{x}}_t$分别为第t 天的真实值和预测值；x_t+1 和${\widehat{x}}_{t+1}$分别为第t+1 天的真实值和预测值．

2.5 消融实验

本文模型主要由CEEMDAN、TransformerE-ncoder与TCN 3个核心组件构造．为了验证本文模型的有效性，对其进行消融实验，设计了如下4种组合方式:

1）TCN，记为模型1;

2）Transformer-Encoder-TCN，记为模型2;

3）CEEMDAN-TCN，记为模型3;

4）CEEMDAN-Transformer-Encoder-TCN，记为本文模型．

由表3消融实验的结果可知，本文所提出的模型通过多个周期交叉验证后在3个评价指标上均取得了最佳预测效果．模型1作为基线模型，预测精度较低．模型2由于添加了自注意力单元模块，建模了全局时序信息后在RMSE与MAE两个指标上预测精度比起单一的TCN模型略有提高，但受限于数据复杂的全局波动性，DS精度有所降低．而模型3由于采用了先分解再集成的预测策略，依据分而治之的思想降低了预测复杂度，比起单一TCN模型预测效果有了非常显著的提升．本文模型整合了分解集成策略与自注意力单元各自的优势，通过分解算法得到多尺度分量后，自注意力单元更容易聚焦于不同频率的显著特征，比起单一TCN模型，RMSE误差指标降低了33.7%，MAE误差指标降低了31.5%，DS精度提升了43.4%．

为了更直观地观测本文模型的预测效果，由于篇幅限制，仅取多折交叉验证中最后一折的测试集作出预测，结果如图10所示，黑色实线代表真实值，灰色虚线代表预测值，本文模型在一定程度上能较好地拟合真实值，但更倾向于保守预测，少数异常波动收益率点的预测结果具有滞后性，这符合期货投资收益率中宁可少赚也不多亏的原则．以上实验结果表明，本文提出的预测模型改进方式具有一定可行性．

2.6 对比实验

为了进一步验证本文所提出模型的优越性，将其与LSTM、CEEMDAN-LSTM、SVR、CEEMDAN-SVR模型进行对比实验．为了保证实验公平性，对比模型预测流程与本文模型一致.其中:LSTM隐藏层神经元数量根据经验与滑动窗口长度设置为10，隐藏层数设置为1，隐藏层激活函数设置为ReLU，其余训练参数如学习速率等则与本文模型一致；SVR模型使用sklearn库中的默认参数，核函数为RBF．对比实验结果如表4所示．

由表4可知，LSTM作为深度学习模型的一种，能建模序列时间尺度上的依赖关系，其独特的门控记忆机制使得其在序列建模任务上比起传统机器学习模型SVR更具优势，而两者在应用分解集成策略将复杂序列转换为简单子序列后，从3个评价指标结果上看预测精度均获得显著提升，验证了分解策略的有效性．

4种对比模型中，LSTM模型容易陷入梯度弥散或爆炸的困境，SVR模型则无法很好地捕捉时间尺度上的依赖关系，而本文模型在应用分解集成策略的基础上同时融合了局部信息与全局信息进行建模，避免了梯度消失或爆炸问题，因果卷积的Zero-padding机制与自注意力单元形成互补，较好地建模了农产品期货季节性成分，在误差精度和方向性精度上均展示出较强优势．本文模型改进了大豆期货收益率短期预测效果，在农产品期货预测上具有一定潜力．

3 结论

针对农产品期货预测精度低的问题，本文提出一种基于CEEMDAN与Transformer-Encoder-TCN模型的分解集成预测方法，并在真实大豆期货收益率数据集上进行实验．CEEMDAN通过挖掘序列多尺度特征，降低了序列建模复杂度，TCN模型的Zero-padding机制为自注意力单元抽象表达了时序数据中的绝对位置信息，而自注意力单元Transformer-Encoder则有效地增强了TCN模型的全局关联建模能力，优化了显著特征的建模权重．实验通过时间序列交叉验证与参数迁移训练的方式进行，研究结果表明本文模型在农产品期货收益率预测研究中具备一定可行性．

本文仍存在一些不足之处，CEEMDAN分解后的子序列数量不确定，其中高频子序列仍存在较大复杂性，这增加了建模难度．另外，由于CEEMDAN的计算时间较长，因此本文模型更侧重于离线计算场景，对于众多农产品期货在线高频交易场景的需求无法满足，未来研究将重点将针对其他农产品期货高频交易场景下的预测问题进行扩展研究．

参考文献