“学海拾珠”系列之一百三十六：基于堆叠自编码器和长短期记忆网络的金融时间序列深度学习框架

金融工程 专题报告 基于堆叠自编码器和长短期记忆网络的金融时间序列深度学习框架 ——“学海拾珠”系列之一百三十六 报告日期：2023-4-13 主要观点： 分析师：严佳炜 执业证书号：S0010520070001邮箱：yanjw@hazq.com 分析师：骆昱杉 执业证书号：S0010522110001邮箱：luoyushan@hazq.com 相关报告 1.《基金在阶段业绩不佳后会调整激进程度吗？——“学海拾珠”系列之一百二十八》 2.《基于盈利公告发布日期的交易策略——“学海拾珠”系列之一百二十九》 3.《媒体效应如何影响基金投资者和基金经理的决策？——“学海拾珠”系列之一百三十》 4.《股票市场流动性、货币政策与经济周期——“学海拾珠”系列之一百三十一》 5.《共同基金的长周期表现如何？“学海拾珠”系列之一百三十二》 6.《盈余公告前的已实现测度是否能预测公告后的股票收益？——“学海拾珠”系列之一百三十三》 7.《策略拥挤与流动性冲击——“学海拾珠”系列之一百三十四》 8.《基金窗口粉饰行为的新指标——“学海拾珠”系列之一百三十�》 本篇是“学海拾珠”系列第一百三十六篇，本文提出了一种深度学习算法在股价预测中的应用框架。近年来，深度学习算法得到了长足的发展。过去已有一些机器学习算法用于金融时间序列预测的相关案例，但关于深度学习在金融市场预测中应用的讨论仍然较少。本文提出的预 测模型由三部分构成：Haar小波变换，堆叠自动编码器和长短期记忆神经网络模型。堆叠自编码器是模型的主要部分，它是一种无监督学习神经网络模型，用来提取金融时间序列的深层抽象特征。具体来说，它是一个由多个单层自编码器组成的神经网络，其中每一层的输出特征都作为下一自编码层的输入。自编码器的无监督训练是通过最小化输入数据和重构输出数据之间的误差来完成的，因此自编码器的隐状态是由输入数据中最核心的特征构成的，这是堆叠自编码器能够有效提取序列特征的根本保证。 金融时间序列包含较强的噪声和波动性 时间序列预测的目的是通过收集和分析过去的观测数据，建立一个 描述其内在关系的模型，然后根据所建立的模型预测变量的未来值。其 中，金融时间序列预测，作为投资和财务决策中的一个重要问题，已经成为一个活跃的研究领域。然而，由于固有的噪声、非平稳和确定性混沌等特性，金融时间序列预测被认为是现代时间序列预测中最具挑战性的应用领域之一。 统计学时间序列建模方法对于序列平稳性要求较高 在金融时间序列分析领域，研究人员经常需要解决序列不平稳而带 来的一系列问题，统计学建模方法通常要求序列是平稳序列，对于非平 稳序列则通常需要进行一些操作寻找其中地平稳特征，这是因为研究人员通常难以直接建立序列与时间之间的高度非线性映射，而神经网络模型有强大地拟合非线性函数的能力。 神经网络模型智能化地提取数据中的重要特征 在数据挖掘的过程中，特征工程是非常重要的一个环节，经过这一 过程，原始数据被转化为能更好地表达问题本质的数字特征，特征提取的质量直接影响到结果的准确性，神经网络模型让这一过程变得更加快捷和智能化。 风险提示 文献结论基于历史数据与海外文献进行总结；不构成任何投资建 议。 敬请参阅末页重要声明及评级说明证券研究报告 正文目录 1引言4 2方法阐述6 2.1小波变换7 2.2堆叠自编码器8 2.3长短期记忆网络10 3数据描述13 3.1样本选择和输入变量13 3.2数据来源14 4实验设置15 4.1预测方法15 4.2模型表现评估16 5结果展示18 6结论26 风险提示：27 图表目录 图表1WSAES-LSTM模型结构示意图6 图表2单层自编码器的结构图9 图表3由4个ENCODER构成的5层SAES实例10 图表4循环神经网络模型结构及按时间轴展开的逻辑结构11 图表5LSTM的CELL结构12 图表6CELL的内部结构12 图表7输入变量的详细描述14 图表8在整个样本周期内连续进行训练、验证和测试15 图表96个预测年的时间间隔16 图表10指数与相应指数期货之间的关系17 图表11各股票指数在2010.10.01-2011.09.30的实际数据和四个模型的预测数据18 图表12模型在发展中市场的预测准确度19 图表13模型在相对发达市场的预测准确度19 图表14模型在发达市场的预测准确度20 图表15每个模型的盈利能力21 图表16各股票指数在2011.10.01-2012.09.30的实际数据和四个模型的预测数据22 图表17各股票指数在2012.10.01-2013.09.30的实际数据和四个模型的预测数据23 图表18各股票指数在2013.10.01-2014.09.30的实际数据和四个模型的预测数据24 图表19各股票指数在2014.10.01-2015.09.30的实际数据和四个模型的预测数据25 图表20各股票指数在2015.10.01-2016.09.30的实际数据和四个模型的预测数据26 1引言 由于具有噪声和波动性的特点，股票市场的预测通常被认为是时间序列预测中最具挑战性的问题之一(Wang等人，2012)。对于现代社会的经济和社会组织来说，如何准确地预测股票走势仍是一个悬而未决的问题。在过去的几十年里，机器学习模型，如人工神经网络(ANNs)(Guo等人，2014)和支持向量回归(SVR)(Cherkassky，1997)被广泛用于预测金融时间序列，并获得较高的预测精度(Refenes等人(1994)，Yoon等人(1993)，Prasaddas和Padhy(2012)，Lu等人(2009)，Huang等人(2005))。然而，在文献中，机器学习和模式识别社区的最近趋势认为应该将深度非线性拓扑应用于时间序列预测。作为对传统机器学习模型的改进，新的深度学习模型可以通过提取相关信息的鲁棒性特征来成功地对复杂的现实世界数据建模(Hinton和Salakhutdinov，2006)，并实现比之前更好的性能(Bengio等人，2013)。考虑到金融时间序列的复杂性，将深度学习与金融市场预测相结合被认为是最吸引人的话题之一(Cavalcante等人，2016)。然而，这一领域相对来说仍然还未被深入探索。 一般来说，在研究中广泛使用的深度学习方法主要有三种:卷积神经网络(CNN)(Krizhevsky等人，2012)、深度信念网络(DBN)(Hinton等人，2006)和堆叠自编码器(StackedAuto-Encoders,SAEs)(Bengio等人，2007)。目前一些深度学习应用于金融领域的相关工作已经将前两种方法引入研究。如Ding等人(2015)结合神经张量网络和深度卷积神经网络，预测事件对股票价格走势的短期和长期影响。此外，某些研究在金融市场预测中使用了深度信念网络(Yoshihara等人(2014)，Shen等人(2015)，Kuremoto等人(2014))。然而，关于堆叠自编码器方法是否可以应用于金融市场预测，很少有人深入研究这个问题。因此，本文对这一领域做出了探索，并提出了一种基于堆叠自编码器方法的股票市场预测新模型。 本文提出的模型由三部分组成:小波变换(WT)、堆叠自编码器(SAEs)和长短期记忆(LSTM)。SAEs是模型的主要组成部分，用于在无监督的情况下学习金融时间序列的深层特征。具体来说，它是由多个单层自编码器(Auto-Encoder,AE)组成的神经网络，其中每一层的输出特征连接到连续层的输入。在AE的训练过程种，输入数据x同时也是其输出𝑥̂的标签，其损失函数的宗旨就是最小化输入和输出的误差。因此，SAEs模型能够成功地学习到不变量和抽象特征(Chen等人，2014)。 SAEs结合另外两种方法有助于提高预测的准确性。LSTM是一种循环神经网络(RNN)，隐藏层采取循环式前馈结构。与传统的RNN不同，当存在任意大小的时间步长时，它非常适合从经验中学习来预测时间序列。此外，它还改善了RNN梯度消失的问题，方法是让内存单元将重要时间步的信息保留任意的时间(ChuKL等人，2016)。有证据证明它比传统的RNN更有效(Palangi等人(2016)，Palangi等人(2016))。因此，本文决定用这个模型来预测股票的走势。此外本文还利用小波变换修正了金融时间序列的噪声特征。它是一种广泛应用于滤波和挖掘一维信号的技术(Hsieh等人(2011)，Aminghafari等人(2006)，Donoho等人(1995))。本次研究用它对输入金融时间序列进行去噪，然后将去噪后的数据输入神经网络模型中。综上所述，本文所介绍的模型是这三种方法的结合，并将这个新模型简称为WSAEs-LSTM。 本文选取了6个股票指数来检验所提出模型的预测能力。这些指数包括中国内地A股市场的沪深300指数、代表印度股市的Nifty50指数、香港市场的恒生指数、东京的Nikkei225指数、纽约证券交易所的S&P500指数和DJIA指数。从技术上 讲，本文应用WSAEs-LSTM来预测每个股票指数的变动，并检查模型在预测股票变动趋势方面的效果。 值得注意的是，本文在多个金融市场而非单个金融市场中测试WSAEs-LSTM模型的表现。这是出于获得可靠结果的考虑。根据有效市场假说(EMH)，市场的有效性影响其资产的可预测性。换句话说，即使一个市场的预测表现令人满意，但仍然很难将其归因于所提出的模型的作用。在不同的市场条件下测试模型是解决这一问题的一种方法，若模型在多个市场都展现出了较好的预测结果，则可将功劳归于模型而非市场本身的强有效性。本文所选择的多个市场可以达到上述目标，它们代表了金融市场的三个发展阶段。例如，中国大陆和印度的股市通常被视为发展中市场，尽管这两个国家在过去几十年都经历了快速增长，但它们的大部分监管都不成熟。相比之下，纽约证券市场被认为是最发达的市场。它也是迄今为止世界上最大的证券交易所和最有效的市场。除此之外，香港和东京的股票市场处于最发达国家和发展中国家之间的中间地带。因此，本文的样本设置可以帮助检查提出的模型在不同市场状态下的有效性。 对于每个股票指数，使用三种类型的变量作为模型输入。第一组是股票交易的历史数据，如开盘价、最高价、最低价和收盘价(OHLC)(Chang等人(2004)，Chen等人(2003)，Parasuraman等人(2005))。第二组是股票交易的技术指标，这些都是以前研究中常用的输入(Zhang等人，2002)。除此之外，本文还引入宏观经济变量作为第三种类型的输入。由于宏观经济会对股票市场产生巨大影响，而深度学习模型的优势在于能够从输入变量中提取抽象和不变的特征(Yue等人(2015)，Yue等人(2016))，本文认为宏观经济变量的加入可以提高模型的性能。 在预测方法上，采用Chan和Mehralizadeh(2016)描述的分段预测方法，得到各股票指数的预测结果。然后，本文从两个维度评估模型的性能:预测精度和盈利能力。预测精度通过三个测量值来评估:平均绝对百分比误差(MAPE)、相关系数(R)和泰尔不等式系数(Theil’sinequalitycoefficient,TheilU)。这些都是广泛使用的衡量预测值与实际值是否相似的指标(Guo等人(2014)，Hsieh等人(2011)，Altay和Satman(2005)，EmenikeKalu(2010))。为了检查盈利能力，本文还建立了买卖交易策略(Yao等人，1999)。该策略应用于基于模型预测结果的交易收益。作为基准，本文计算了每个股票指数的买入持有策略的回报(Chan和Mehralizadeh(2016)，Chan和Rozaimah(2016))。其基本思路是根据WSAEs-LSTM的交易收益是否能超过这种简单交易策略的收益，进一步判断模型的盈利能力。 为了更好地体现WSAEs-LSTM模型的性能，本文还引入了其他三个模型，并评估了它们在预测每个股票指数时的预测精度和盈利能力，作