“学海拾珠”系列之一百六十四：MemSum：基于多步情景马尔可夫决策过程的长文档摘要提取

敬请参阅末页重要声明及评级说明 证券研究报告 MemSum：基于多步情景马尔可夫决策过程的长文档摘要提取 ——“学海拾珠”系列之一百六十四 [Table_RptDate] 报告日期：2023-11-01 [Table_Author] 分析师：骆昱杉 执业证书号：S0010522110001 邮箱：luoyushan@hazq.com 分析师：严佳炜 执业证书号：S0010520070001 邮箱：yanjw@hazq.com [Table_CompanyReport] 相关报告 1.《奇异值分解熵对股市的动态预测能力——“学海拾珠”系列之一百六十三》 2.《基金超额能力、规模报酬递减与价值创造——“学海拾珠”系列之一百六十二》 3.《因子间相关性与横截面资产回报——“学海拾珠”系列之一百六十一》 4. 《交易量对波动率的非对称效应——“学海拾珠”系列之一百六十》 5.《基金定期报告中的文本语气能否预测未来业绩？——“学海拾珠”系列之一百五十九》 6.《因子投资中所蕴含的宏观经济风险——“学海拾珠”系列之一百五十八》 7.《基于隐含波动率和实际波动率的系统风险指标——“学海拾珠”系列之一百五十七》 8.《使用机器学习识别基金经理投资能力——“学海拾珠”系列之一百五十六》 主要观点： [Table_Summary] 本篇是“学海拾珠”系列第一百六十四篇，本文介绍了MemSum，一种基于强化学习的提取总结器，模型迭代地将句子选择到摘要中，考虑：(1) 句子的文本内容，(2)全局文本上下文， (3)已经提取的句子集的历史信息。凭借轻量级结构，MemSum 在长文档数据集（PubMed、arXiv 和 GovReport）上仍获得了最先进的测试集性能（ROUGE 分数）。 ⚫ 不同尺度的特征提取器对于模型提取摘要的效果提升显著 MemSum模型中包含局部句子编码器、全局句子信息编码器和已提取历史信息编码器三种不同尺度、不同目的的编码器，经过消融实验验证，这三种编码器都显示出了卓越性能，其中全局上下文编码器和提取历史编码又比局部句子编码器的作用更显著。提取历史编码器是MemSum能够达到SOTA的核心因素之一，经过验证，提取历史信息显著地降低了提取出的摘要的冗余度。 ⚫ 独特的停止机制帮助模型输出合理长度的摘要 与之前的模型不同之处在于，在MemSum中，停止选择句子也被当作一个独立的决策行为，相比于规定固定的句子数量或文本长度，以及在源文本中添加特殊停止标记的方法等，这种停止机制使得模型能够学习智能地选择摘要长度。 ⚫ 文献来源 核心内容摘选自Nianlong Gu，Elliott Ash和Richard H.R. Hahnloser在《Association for Computational Linguistics》上发表的文章《MemSum: Extractive Summarization of Long Documents Using Multi-Step Episodic Markov Decision Processes》 ⚫ 风险提示 文献结论基于历史数据与海外文献进行总结；不构成任何投资建议。 [Table_StockNameRptType] 金融工程 专题报告 [Table_CommonRptType] 金融工程 敬请参阅末页重要声明及评级说明 2 / 17 证券研究报告 正文目录 1 简介 .......................................................................................................................................................................................... 4 2 相关工作.................................................................................................................................................................................. 5 3 方法 .......................................................................................................................................................................................... 5 3.1 策略梯度方法 ......................................................................................................................................................................... 5 3.2 多步情节MDP策略 .............................................................................................................................................................. 6 3.3 模型框架.................................................................................................................................................................................. 6 3.4 训练 .......................................................................................................................................................................................... 7 4 实验 .......................................................................................................................................................................................... 8 5 结果与讨论 ........................................................................................................................................................................... 10 5.1 结果比较................................................................................................................................................................................ 10 5.2 消融实验................................................................................................................................................................................ 12 5.3 提取历史信息对冗余的降低 .............................................................................................................................................. 13 5.4 人为评估结果 ....................................................................................................................................................................... 15 6 结论 ........................................................................................................................................................................................ 15 风险提示： ............................................................................................................................................................................................. 16 [Table_CommonRptType] 金融工程 敬请参阅末页重要声明及评级说明 3 / 17 证券研究报告 图表目录 图表1 模型迭代步骤 .................................................................................................................................................................................................. 5 图表2 模型结构 .......................................................................................................................................................................................................... 7 图表3 模型训练算法 .............................