金融工程专题研究：递归神经网络RNN—维度叠加与可微分神经计算机

请务必阅读正文之后的免责条款部分 全球视野 本土智慧 金融工程研究 Page 1 证券研究报告—深度报告 金融工程 [Table_Title] 金融工程专题研究 数量化投资 2017年11月24日 [Table_BaseInfo] 相关研究报告： 《金融工程专题研究：递归神经网络RNN—自适应计算次数（ACT）的RNN增强》 ——2017-08-11 《金融工程专题研究：递归神经网络RNN—长短期记忆细胞（LSTM）的多因子预测》 ——2017-05-24 证券分析师：陈镜竹 电话： 0755-82130833-701336 E-MAIL： chenjz@guosen.com.cn 证券投资咨询执业资格证书编码：S0980517070003 证券分析师：黄志文 电话： 0755-82133928 E-MAIL： huangzw @guosen.com.cn 证券投资咨询执业资格证书编码：S0980510120059 独立性声明： 作者保证报告所采用的数据均来自合规渠道，分析逻辑基于本人的职业理解，通过合理判断并得出结论，力求客观、公正，结论不受任何第三方的授意、影响，特此声明。 专题报告 递归神经网络RNN—维度叠加与可微分神经计算机  递归神经网络RNN RNN不同于传统神经网络的感知机的最大特征就是跟时间挂上钩，即包含了一个循环的网络，就是下一时间的结果不仅受下一时间的输入的影响，也受上一时间输出的影响，进一步地说就是信息具有持久的影响力。人们在看到新的信息的时候产生的看法或者判断，不仅仅是对当前信息的反应，先前的经验、思想的也是参与进去这次信息的推断的。  维度叠加GridLSTM 在网络的深度层数方向上，LSTM在层数过高后，容易出现梯度消失的问题。ACT的思路是回避该问题，采取低层数的结构，但是在横向时间点上扩大数据挖掘的深度。而GridLSTM则考虑利用LSTM的特性，在深度层数上同样使用长短期记忆的模型，提高层数。  风格分析 从多因子模型的回测效果上看，GridLSTM的区分度仍然高于传统的LSTM模型，但是策略的绝对收益水平并不高。我们对多头组合的风格进行的计算市值在每一期均呈负暴露，而想常见的PE、财务质量等因子的风格则会出现变化。组合在部分风格上的暴露方向与我们的经验是不相符的，这应该是绝对收益水平较低的原因。  神经图灵机与DNC 对于DNC模型，它实际上是基于NTM模型发展而来，基本的思路是通过外部存储的机制提升网络的信息存储能力，应用到LSTM上，能够显著提高LSTM的“记忆力”。如果内存可以被认为是 DNC 的 RAM，神经网络则可以被称为控制器，CPU可微的操作是通过梯度下降法直接进行学习。其记忆（memory）则是一个位置（location）的集合，其中每个位置都存储了一个信息向量。 请务必阅读正文之后的免责条款部分 全球视野 本土智慧 Page 2 内容目录 前言............................................................................................................................................. 4 递归神经网络RNN ................................................................................................................... 4 递归神经网络RNN简介................................................................................................. 4 RNN的增强简介.............................................................................................................. 4 维度叠加LSTM......................................................................................................................... 5 模型实证..................................................................................................................................... 7 结果解析..................................................................................................................................... 8 风格暴露 ........................................................................................................................... 8 行业分布 ........................................................................................................................... 9 可微分神经计算机................................................................................................................... 10 结论........................................................................................................................................... 13 国信证券投资评级................................................................................................................... 15 分析师承诺............................................................................................................................... 15 风险提示................................................................................................................................... 15 证券投资咨询业务的说明 ...................................................................................................... 15 请务必阅读正文之后的免责条款部分 全球视野 本土智慧 Page 3 图表目录 图1：递归神经网络及其展开形式 ......................................................................................... 4 图2：RNN的扩展模型............................................................................................................ 5 图3：基本LSTM示意图 ........................................................................................................ 6 图4：stacked LSTM示意图 ................................................................................................. 6 图5：2d Grid LSTM示意图 .................................................................................................. 7 图6：2d Grid LSTM选股净值曲线 ...................................................................................... 8 图7：NTM示意图.................................................................................................................. 11 图8：DNC流程图.................................................................................................................. 12 请务必阅读正文之后的免责条款部分 全球视野 本土智慧 Page 4 前言 本篇报告是RNN神经网络系列的第三篇，该系列报告的主旨是为投资者提供RNN网络结构的有效增强或者前沿设计的应用，尝试递归神经网络RNN在A股市场多因子选股的效果。当然，从应用角度来说，有效的特征（因子）提取（特征工程）、模型的组合与优化，可能会更加直接有效的提高策略的收益，这些工作（实际上是机器学习工作的主要内容）也将有计划的展开，但本篇报告仍将围绕RNN结构设计的主线，向大家介绍新的RNN的增强模型。 递归神经网络RNN 递归神经网络RNN简介 RNN不同于传统神经网络的感知机的最大特征就是跟时间挂上钩，即包含了一个循环的网络，就是下一时间的结果不仅受下一时间的输入的影响，也受上一时间输出的影响，进一步地说就是信息具有持久的影响力。放在实际中也很容易理解，人们在看到新的信息的时候产生的看法或者判断，不仅仅是对当前信息的反应，先前的经验、思想的也是参与进去这次信息的推断的。人类的大脑不是一张白纸，是包含许多先验信息的，即思想的存在性、持久性是显然的。 举个例子，你要对某电影中各个时点发生的事件类型进行分类：温馨、烂漫、暴力等等，如果利用传统神经网络是很难做到这