DQN模型实现的股指期权动态复制方法与应用

金融工程研究●专题报告 2024年1月11日 DQN模型实现的股指期权动态复制方法与应用 ——以沪深300指数为例 核心观点： 分析师 动态复制期权收益可规避期权时间价值的成本：期权是绝对收益策略常用的对冲工具，可实现获取安全垫、增厚收益的效果。但期权的时间价值会随到期时间临近而逐渐损耗，带来较高的配置成本，而复制期权可规避这一成本。相比于静态复制，动态复制的风险敞口更小、实现的收益与期权更接近，但当标的资产价格与期权行权价格接近时，受Gamma较高的影响，Delta复制的交易成本较高、复制误差较大。为解决这一问题，我们引入DQN模型进行期权复制。DQN模型可应用于期权动态复制：DQN是基于价值的强化学习算法，是Q-Learning强化学习与神经网络的结合。Q-Learning的基本思想是通过不断更新值函数Q(s,a)的估计来寻找最优策略，可在未知环境下学习并找到最优策略；而将深度神经网络（DNN）引入Q-Learning替换Q-Table则可以提高Q-Learning的泛用性，使模型能够覆盖训练集中未发生过的市场状态，并输出连续的动作决策，最终实现组合价值最大化。DQN复制期权的风险收益表现优于Delta复制：在训练DQN模型的过程中，首先，鉴于真实市场数据不足，我们采用蒙特卡洛模拟生成训练数据；其次，考虑到模型训练过程具有随机性，我们采用多次训练比较回测表现的方法筛选最优模型。基于最优模型，我们证明了DQN模型可复制期权收益，且相比Delta复制能够在降低回撤的同时实现更高收益；当标的资产期末价格涨跌幅在[-5%,5%]之间时，复制期权的超额收益更显著。以DQN模型对沪深300ETF进行回测，2020-2023年间每月更新期权合约，复制看涨期权实现年化收益1.11%，相比Delta复制实现超额收益1.75%，进一步设置涨跌幅超过5%时更新合约则年化收益提升至3.60%；空头沪深300股指期货复制看跌期权实现年化收益4.53%，相比Delta复制实现超额收益3.71%。应用DQN复制期权可有效对冲Beta风险：将DQN复制期权结果应用于Alpha因子沪深300增强策略，可对冲组合Beta风险。2022年6月2023年12月DQN复制期权对冲策略实现年化收益0.95%，相比无对冲的增强策略实现超额收益10.45%。模型改进：未来我们一方面可以对DQN模型训练过程与参数进行改进、提高训练效率，另一方面可将DQN模型应用于复制雪球等结构更为复杂的期权产品，对DQN模型在绝对收益策略中的效果进行进一步探讨。风险提示：报告结论基于历史价格信息和统计规律，但二级市场受各种即时性政策影响易出现统计规律之外的走势，所以报告结论有可能无法正确预测市场发展，报告阅读者需审慎参考报告结论。基金历史收益不代表未来业绩表 现，文中观点仅供参考，不构成投资建议。 马普凡：021-68597610：mapufan_yj@chinastock.com.cn分析师登记编码：S0130522040002DQN复制沪深300看涨期权策略表现 1.41.2 1 0.82019/12/312020/12/312021/12/312022/12/31 DQN复制Delta复制沪深300指数 资料来源：Wind，中国银河证券研究院DQN复制沪深300看跌期权策略表现 1.51.31.10.9 0.72019/12/312020/12/312021/12/312022/12/31 DQN复制Delta复制沪深300指数 资料来源：Wind，中国银河证券研究院DQN复制期权对冲+沪深300增强策略表现 1.10.90.7 多头股票+DQN复制看跌期权对冲仅Alpha因子选股 沪深300 资料来源：Wind，中国银河证券研究院 www.chinastock.com.cn证券研究报告请务必阅读正文最后的中国银河证券股份有限公司免责声明 目录 一、期权对冲与期权动态复制3 期权复制：规避期权时间价值的损耗3 Delta复制：动态复制优于静态复制4 二、DQN模型引入6 强化学习已广泛应用于金融领域6 Q-Learning：选择不同状态下的最优动作7 DQN模型：用DNN优化Q-Table8 三、DQN模型实现股指期权动态复制8 DQN复制看涨期权：模型环境设置8 DQN复制看涨期权：训练集生成10 DQN复制看涨期权：模型效果11 DQN复制看涨期权：模型筛选13 DQN复制看涨期权：期权配置策略与回测结果14 DQN复制看跌期权16 四、DQN动态复制股指期权应用实例17 经济不确定性因子选股与复制期权对冲18 五、模型改进方向19 对DQN模型的改进19 DQN模型复制雪球期权19 六、附录21 七、参考文献23 八、风险提示23 期权是绝对收益策略常用的对冲工具。期权是一个在未来特定日期按照约定价格买入或卖出一定数量的指定金融工具或商品的合约，其价格受标的资产价格、到期时间、无风险利率等多种因素影响。在绝对收益策略中，期权是常用的风险对冲工具。一方面，期权本身的收益特征使我们可以实现跟随上涨空间、同时锁定下跌风险的效果；另一方面，期权是杠杆交易，组合中的多数资金可以投资于股票、债券等其他资产，以达到获取安全垫、增厚收益的目的。 目前在我国的场内市场中，以指数为标的资产的期权有12种，其中直接以指数为标的的期权仅有沪深300、中证1000和上证50；以指数ETF为标的资产的期权包括沪深300ETF、中证500ETF、创业板ETF、科创50ETF等。考虑到华泰柏瑞沪深300ETF（510300.SH）本身成交量大、期权上市时间较长，且ETF本身便于买卖和配置，在后文的研究中我们将主要以沪深300ETF及对应期权为研究对象。 表1：国内大类资产价格表现回顾 代码 简称 ETF成立日 基金管理人 期权上市日 期权成交额（亿元，2023-12-29） ETF成交量（亿元，2023年12月） 510050.SH 上证50ETF 2004-12-30 华夏基金 2015-02-09 21.6091 498.72 510300.SH 沪深300ETF 2012-05-04 华泰柏瑞基金 2019-12-23 88.0630 804.72 159919.SZ 沪深300ETF 2012-05-07 嘉实基金 2019-12-23 24.1384 271.30 159915.SZ 创业板ETF 2011-09-20 易方达基金 2022-09-19 13.7855 279.72 510500.SH 中证500ETF 2013-02-06 南方基金 2022-09-19 14.9653 294.33 159922.SZ 中证500ETF 2013-02-06 嘉实基金 2022-09-19 5.6687 103.39 159901.SZ 深证100ETF 2006-03-24 易方达基金 2022-12-12 1.3912 22.01 588000.SH 科创50ETF 2020-09-28 华夏基金 2023-06-05 22.2921 507.12 588080.SH 科创50ETF 2020-09-28 易方达基金 2023-06-05 4.0121 112.38 资料来源：Wind，中国银河证券研究院，数据截至2023.12.31 一、期权对冲与期权动态复制 期权复制：规避期权时间价值的损耗 直接使用期权进行对冲存在的问题之一是成本较高。假设我们多头一个看涨期权进行对冲，除本身的交易费用之外，更多的隐性成本来自于期权的时间价值——期权价值等于内在价值与时间价值之和，但在时间逐渐临近到期日的过程中，时间价值不断损耗，直至到期日为0，如图1和图2所示。为了降低对冲成本、改善对冲效果，本文采用复制投资组合的方法，通过调整标的资产的仓位，使复制组合可以实现与期权相近的收益，从而在降低成本的同时，达到抓住上涨空间、对冲下跌风险的目的。 图1：期权时间价值逐渐损耗（标的资产价格上涨） 图2：期权时间价值逐渐损耗（标的资产价格波动） 资料来源：中国银河证券研究院 资料来源：中国银河证券研究院 复制投资组合（ReplicationPortfolio）是指通过对一组资产进行配置，以模拟或复制特定的市场指数、策略或投资组合的表现，使投资者能够在不直接购买指数成分股或实施策略的情况下获取相似的投资回报。而期权也是一个可以复制的对象，我们可以通过配置期权标的资产和现金等实现对期权收益的复制。 在介绍期权复制之前，我们首先要引入“中性”的概念。假设某一投资组合由期权、期权标的资产和现金等构成，如果组合价值对标的资产价格的敏感性为0，那么组合对标的资产价格就实现了“中性”，而组合中标的资产和现金则完成了对期权的反向复制。 为了获得期权对标的资产价格的敏感性，首先要对期权定价。Black-Scholes模型是最常用的期权定价公式，一单位看涨期权的价格可以表示为： �=𝑆𝑡𝑁(𝑑1)−𝐾𝑒−𝑟𝑇𝑁(𝑑2) 其中， 𝑆� 𝜎2 𝑑1= ln(𝐾)+(�+2)� 𝜎√� ,𝑑2=𝑑1−𝜎√� C表示期权价格，N表示标准正态分布，𝑆�表示标的资产在t期的价格，K表示期权的行权价格，r表示无风险收益率，t表示期权到期时间，�表示标的资产收益率的波动率。那么，期权价格对标的资产价格的敏感性Delta即可表示为： 𝑑� � 𝐷𝑒𝑙𝑡�=𝑑� =𝑁(𝑑1) 如果我们当前空头一单位看涨期权，同时多头Delta单位的标的资产，假设整个组合总资产为V，那么整个组合对标的资产价格的敏感性即为： 𝑑� 𝑑� 𝑑𝑆� 𝑑� =(−1)×𝑑�+𝐷𝑒𝑙𝑡�×𝑑� =(−1)×𝐷𝑒𝑙𝑡�+𝐷𝑒𝑙𝑡�×1=0 ��� 换而言之，无论未来标的资产价格上涨或下跌，整个组合的总资产都保持不变，即实现了“Delta中性”；而多头Delta单位标的资产即等价于多头一单位看涨期权，这样我们就通过买入标的资产实现了对期权的复制，这种期权复制方法又称“Delta复制”。复制投资组合使我们在不直接多头期权的情况下获取了相似的投资回报，同时规避了期权时间价值的损耗。 Delta复制：动态复制优于静态复制 根据调整频率，组合复制可以分为动态复制和静态复制。如果我们仅在期初调整标的资产仓位使组合实现Delta中性、在未来不对标的资产进行调仓，则称为“静态复制”。静态复制简单、直观，调仓频率低，但由于期权Delta会随着标的资产价格波动、到期时间临近等因素频繁变化，静态复制会导致组合风险敞口较大。而动态复制会根据期权Delta的变化以日频或更高频率对组合中标的资产的仓位进行动态调整，相比于静态复制风险敞口更小，实现的收益与期权收益更接近、复制效果更好。 如图3所示，以沪深300ETF（510300.SH）2023年12月的收盘价为标的资产价格、以11月30日收盘价为期权行权价格拟合一组期权价格走势与对应的Delta，其中1张期权对应1单位份额ETF。假设期初空头10000张看涨期权，此时Delta为0.5297，那么我们需要多头5297份ETF来对冲风险，这5297份ETF即相当于100单位看涨期权的多头。之后，如果采用静态复制，那么我们无需调整ETF份 额数量，仅需持有到期。如果采用动态复制，则需要根据期权Delta变化调整持有的ETF份额，例如，在第二日Delta变为0.4276，那么我们应卖出1021份ETF，使持有的ETF份额变为4276份，与Delta ×期权数量相对应；在未来的每一日，我们都需要根据期权Delta的变化调整ETF的持有份额。当然，在交易成本可控的前提下，我们也可以进行更高频率的调仓。 图3：沪深300ETF收盘价与模拟看涨期权Delta 图4：动态复制与静态复制持有ETF份额数量变化对比 3.6 0.6 6000 3.55 0.5 5000 3.5 0.4 40