量化研究报告：深度学习对基于限价订单簿的择时模型优化(一)

中信期货研究|量化研究报告 深度学习对基于限价订单簿的择时模型优化(一) 投资咨询业务资格： 证监许可【2012】669号 报告要点 限价订单簿是基于市场限价单的信息汇总，限价订单簿中基本包含以下信息:买卖双方价格及成交量，双方价格的排布按照递减及递增的顺序依次展示。一定程度上，限价订单簿的走向既能反映市场的微观结构，又能为投资者对未来价格变动预测提供信息基础，本篇报告基于深度学习网络的方法论对不同的神经网络生成的高频择时信号准确率进行纵向比较及优化，最后选出表现较好的策略模型。后期报告研究除模型优化外，将研究模型在商品及金融标的上的择时应用。 115 113 111 109 107 105 240 中信期货商品指数走势 中信期货十年期国债期货指数 中信期货沪深300股指期货指数 中信期货商品指数 220 200 180 160 140 2020-09-07 2020-09-21 2020-10-13 2020-10-27 2020-11-10 2020-11-24 2020-12-08 2020-12-22 2021-01-06 2021-01-20 2021-02-03 2021-02-24 2021-03-10 2021-03-24 2021-04-08 2021-04-22 2021-05-11 2021-05-25 2021-06-08 2021-06-23 2021-07-07 120 摘要：本篇报告，我们根据牛津大学量化金融实验室提出的基于限价订单簿的高频择时策略 算法，分析来自金融交易所(开源)的高频限价订单簿数据，该类数据反映了市场中某类标 的资产价量的微观结构。来自金融交易所的订单簿具有大规模、序列高频、价格-时间变化区间短等特点。基于此类限价订单簿的时间序列数据作为神经网络的输入数据，可以为预测未来相关标的价格涨跌提供数据基础，本报告所使用的数据集中包含超过400万个限价订单数据，基于构建的深度神经网络模型，我们验证了不同神经网络在数据集上预测的表现，实验表明经过空间信息(卷积神经网络)以及时间序列信息提取(循环神经网络LSTM)的神经网络表现(预测准确率)优于基础的多层感知机模型，后期报告将继续分析序列对序列(Seq2Seq)、基于注意力机制以及在引入强化学习算法后神经网络择时的优化表现。 本篇报告主要目的在于初步研究基于订单簿的模型的预测准确率，后期优化模型有机会将对商品及金融期货品种进行高频择时支持。 本篇报告逻辑: 第一部分:基于限价订单簿高频择时策略背后逻辑、报告订单簿数据结构剖析、报告订单簿数据部分可视化。 第二部分:各类神经网络简介、不同神经网络模型在订单簿数据上高频择时策略表现及解读。 第三部分:总结不同模型表现背后金融学逻辑、择时模型适用性性分析对后期高频策略支持展望。 风险提示:1)模型参数失效，2)模型过拟合。 103 商品量化组 研究员：魏新照 021-80401773 weixinzhao@citicsf。com 从业资格号F3084987 投资咨询号Z0016364 100 重要提示：本报告难以设置访问权限，若给您造成不便，敬请谅解。我司不会因为关注、收到或阅读本报告内容而视相关人员为客户；市场有风险，投资需谨慎。 目录 摘要：1 一、限价订单簿结构剖析及择时策略背景3 (一)限价订单簿数据剖析3 (二)模型策略简介4 二、模型策略表现对比4 （一）多层感知机(MLP)4 （二）卷积神经网络(CNN)7 （三）循环神经网络(LSTM)11 （四）卷积神经网络连接循环神经网络(CNN_LSTM)15 三、模型表现总结及后期优化方向19 免责声明21 图表目录 图表1：订单簿部分数据可视化结果3 图表2：多层感知机模型缩略图5 图表3：多层感知机模型随机学习率基本表现6 图表4：卷积神经网络分类问题缩略图7 图表5：卷积神经网络分类问题缩略图8 图表6：卷积神经网络基本表现8 图表7：循环神经网络逻辑图12 图表8：循环神经网络(LSTM)模型表现汇总12 图表9：InceptionModule逻辑图16 图表10：CNN+LSTM模型表现汇总16 图表11：四类模型表现汇总19 一、限价订单簿结构剖析及择时策略背景 (一)限价订单簿数据剖析 随着科技的发展，现代动态金融市场为金融投资者提供瞬时买低卖空的机会，在这种情况下，为了及时抓住转瞬即逝的交易机会，金融市场交易者必须及时且全面的了解市场动向，并在发现机会后快速采取行动以最小风险实现高利润。 此外，现代交易所每日自动化交易极大地增加了每天发生的交易量，交易所收集并整理这些大量交易所产生的信息并创建全面的交易日志进而呈现出完整的订单簿数据，这些订单簿数据包含相应时间戳下买卖双方的价量数据，但是此类数据具有高噪声-信息比率，并且国内相关标的订单簿数据时间戳并非连续，因此要想产生有价值的信号，需要经过深度清洗并以此产生源于价量数据的衍生信息，并进一步可用于预测市场变化，而算法又可以使用这些信号在实时交易中做出正确的决策。 本篇报告所使用限价订单簿数据可视为多维面板数据(Multi-DimensionPanelDataset)，相较于其他量化策略所使用的因子数据(单一时序或者截面数据)，订单簿数据除具有大规模、序列高频、价格-时间变化区间短等特点，同时具有空间以及时间特性，因此可以提取跟多相关信息。本篇报告采用的是经过深度清洗的订单簿数据，后期其他标的策略均可依据相应的格式清洗数据并得到相关模型。 本报告所用数据包含五只标的并采用了十天的交叉验证方法，因此使用者可以为每个标准化设置找到九个（交叉折叠）数据集以进行训练和测试。每个训练和测试数据集都包含所有标的的信息。图表一显示了部分订单簿数据的可视化结果。 图表1：订单簿部分数据可视化结果 资料来源：Fairdata (二)模型策略简介 本片报告所着眼的核心前期在于应用深度学习中不同的网络对基于限价订单簿数据的高频择时策略的表现，报告的模型不仅着重分析多层感知机、卷积神经网络(CNN)、循环神经网络(LSTM)的单一深度学习方法，后期报告会分析序列对序列(Seq2Seq)、单头以及多头注意力机制(Attention)算法对单一神经网络进行优化，以上方法方法可用于从大规模高频限价单数据中预测未来的中间价格走势(后期报告将优化为微观价格)。报告同时着眼于模型对标的单步以及多步预测的精度结果。前期模型结果均为随机学习率，后期模型纵向对比对齐不同学习率总结模型。为方便对比，本报告神经网络层数均设定为三层。 模型的基本逻辑:以限价订单簿数据作为训练数据对未来时刻标的价格涨跌的分类问题。 二、模型策略表现对比 经过研究，本部分将主要类型神经网络在订单簿数据上的预测表现进行汇总对比。本部分的顺序依据多层感知机(MLP)、单独卷积神经网络(CNN)、单独循环神经网络(LSTM)、卷积神经网络嵌套循环神经网络(CNN+LSTM)、以及序列模型优化模型表现。 （一）多层感知机(MLP) (1)模型简介 多层感知机（MultilayerPerceptron，缩写MLP）模型是一种前向结构的人工神经网络(维基百科)，清洗好的订单簿数据进入神经网络后进入各个单元，经过神经元内预先设置好的非线性激活函数得到本层神经元的输入(下一层神经元的输出)。具体计算顺序如下: ○1:假设输入订单簿数据为�。 ○2:订单簿数据进行计算得到相应预测值Y，𝑌[1]=(𝑊[1])�∗�+𝑏[1]。 111 ○3:经过激活函数产生下层神经网络的输入𝑎[1]=𝜎(𝑌[1])。 11 ○4:以此类推进入全连接层通过𝑆𝑜𝑓𝑡𝑚𝑎�函数输出最后分类的概率分布。 ○5:模型训练主要目标在于找到神经网络参数使得损失函数最小化。目前分 类问题常见损失函数为𝐶𝑟𝑜𝑠�−𝑒𝑛𝑡𝑟𝑜𝑝�损失函数。 𝐿(𝑦ℎ𝑎�−𝑦)=−(�∗𝑙𝑜𝑔𝑦ℎ𝑎𝑡)−(1−𝑦)∗log(1−𝑦ℎ𝑎𝑡) 图表2：多层感知机模型缩略图 资料来源：中信期货研究所 (2)模型表现 在训练模型时，我们着重考虑不同学习率在模型收敛以及在该学习率下最优模型的准确率: 图表3：多层感知机模型随机学习率基本表现 学习率 最优模型表现(MLP) e-5 30.67% 5*e-5 34.39% e-4 33.27% 1.5*e-4 31.59% 2*e-4 35.71% 资料来源：Wind中信期货研究所 (3)模型分析 根据图表三中的模型表现，多层感知机模型存在模型1)过拟合、2)预测准确率低等缺点。模型过拟合原因在于训练数据与模型参数之间存在数量不对等问题。模型训练集共有203800观测序列，经过分析，模型参数量:Totalparams:4796483已经达到观测序列的24倍，因此想要解决问题可以降低模型复杂度，或增加训练集数据量(今后存在优化可能)。模型准确率低原因在于多层感知机模型在训练过程中的全连接层会把数据拉成一维向量，这样会使模型获得信息大打折扣，既损失空间信息，又损失时序信息，因此后期优化因着眼于多提取空间以及时序信息。 （二）卷积神经网络(CNN) (1)模型简介 卷积神经网络主要应用于计算机视觉领域，在图片处理中卷积神经网络能够起到重要作用。卷积神经网络的核心在于:1，能够有效地提取输入数据的底层和上层空间信息，2，在保留数据的信息的基础上能够将高维数据转化为较低维度的数据。相比于多层感知机模型，卷积神经网络模型的参数量有了大大减小，并且卷积神经网络易于做GPU的并行计算。 卷积神经网络在分类问题的主要流程在于经理系列处理后，模型提取输入数据的特征，最终获得输出类别的概率分布。在手写体是别的的应用如下表所示: 图表4：卷积神经网络分类问题缩略图 资料来源：BrandonRohrer'sBlog 相比多层感知机模型，应用于订单簿数据的卷积神经网络旨在输入数据中中 提取更多的空间信息，进而在预测准确率上取得提升。 相比标准神经网络，对于大量的输入数据，卷积过程有效地减少了CNN的 参数数量，原因有以下两点： 参数共享（Parametersharing）：特征检测如果适用于图片的某个区域，那么它也可能适用于图片的其他区域。即在卷积过程中，不管输入有多大，一个特征探测器（滤波器）就能对整个输入的某一特征进行探测。 稀疏连接（Sparsityofconnections）：在每一层中，由于滤波器的尺寸限制，输入和输出之间的连接是稀疏的，每个输出值只取决于输入在局部的一小部分值。(摘自吴恩达深度学习) 基于卷积神经网络的订单簿优化模型流程图展示如下: 图表5：卷积神经网络分类问题缩略图 资料来源：牛津大学量化金融实验室 (2)模型表现 卷积神经网络在构造的神经网络架构的基础上选取不同的超参数(Learningrate)下的训练结果展示如下(报告前期已对相关其他参数进行优化)(前期优化参数包括:卷积核大小，步长等): 图表6：卷积神经网络基本表现 学习率 最优模型表现(CNN) e-5 45.53% 5*e-5 44.72% e-4 43.57% 1.5*e-4 43.28% 2*e-4 75.98% 资料来源：中信期货研究所 (3)模型分析 经过卷积神经网络的空间信息提取后，可以发现模型预测的整体表现出明显提高。但整体准确率还是处于较低水平，因此需进一步挖据订单簿内在信息。卷积神经网络在处理图片时可以做到提取输入数据的空间信息，但是对时序信息，鉴于金融类信息高时序性的特点，卷积神经网络不能很好地提取相关信息。因此本报告将选取可以提取时序信息的神经网络，进而分析其表现。 （三）循环神经网络(LSTM) 如果说卷积神经网络可以有效地处理空间信息，那么本部分所描述的的循环神经网络（recurrentneuralnetwork，RNN）则可以更