“学海拾珠”系列之二百三十：“知识”嵌入型深度强化学习在多元资产配置中的应用

主要观点： 本篇研报探讨了“知识”嵌入型深度强化学习在多元资产配置中的应用。研究提出了一种新颖的方法，旨在最大化长期风险调整后的投资回报，同时保持模型输出的可解释性。该方法采用成熟的基于规则的策略，通过模仿学习生成神经网络模拟模型，从而传递专家知识。这些“导师”模型随后通过结合执行-评估模型（Soft Actor-Critic, SAC）和深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）的混合强化学习算法进行增强，目标是创建出表现优于其导师的“学生”模型。

关键数据： 研究采用涵盖股票、债券、美国国债、大宗商品及其杠杆等价物等广泛的资产类别，在近40年的价格数据集上进行模拟。实证结果显示，新模型的测试集中，夏普比率提升了高达39.70%，索提诺比率提升了高达47.07%。

研究结论： 将成熟策略与先进强化学习相结合，在资产管理领域具有巨大潜力。该方法显著提升了既有规则型模型的表现，特别是在复杂模型（如允许杠杆操作并采用Halloween策略的模型）中。研究结果表明，该方法在提供长期稳健风险调整后收益方面具有能力，并适用于多样化的金融工具。

风险提示： 文献结论基于历史数据与海外文献进行总结；不构成任何投资建议。