学术纵横系列之五十五：机器学习模型中如何处理缺失值

机器学习模型中如何处理缺失值

核心观点

本报告介绍了文献《Missing values handling for machine learning portfolios》的主要结论，该研究主要探讨了在使用机器学习构建的投资组合中处理缺失值的方法，为股票收益预测中常见的缺失值处理提供了建议。

投资要点

缺失值填充方法的选择

• 文章分析了截面均值填充和截面期望最大化方法（EM）填充在不同算法中的效果差异，并展示了其他四种缺失值填充和四种收益预测算法的效果。
• 结论是股票收益预测效果与缺失值填充方法的关系不大，并且复杂的机器学习方法的表现可能不如简单OLS回归。

缺失值处理效果的解释

• 文章发现在大多数情况下，使用简单均值填充的效果最好。
• 原因可能包括：
  • 数据截面相关性整体较低，因此已有数据对于缺失值数据而言提供的信息较为有限；
  • 缺失值往往在时间维度上聚集出现，时间序列方法和EM算法能利用的信息有效度较低；
  • 同一数据源的缺失值往往聚集出现，甚至会出现缺失值数量远大于观测值的情况，不利于进行严格的逻辑填充。

在股票收益预测时按市值进行分组

• 文章发现在预测股票收益时，在PCR、sPCR、GBRT等模型中根据市值分组可以显著提升投资组合表现。
• 这一结果表明不同市值规模、不同流动性的股票的收益预测结构是不同的。

关键数据和研究结论

因子值缺失情况

• 文章展示了159个不同类型的因子的缺失情况，大部分股票都存在不同程度的数据缺失。
• 如果有缺失值就删去个股，那么这里将删去所有个股。因此，填充缺失的因子值是非常有必要的。

截面最大期望填充&截面均值填充

• 文章对原始股票数据进行了一些预处理，步骤如下：
  • 对股票数据进行对称1%分位数的缩尾处理，减少异常值的影响；
  • 对预测因子进行Box-Cox变换，使其趋近于正态分布；
  • 对预测因子进行标准化处理。
• 截面EM算法填充通过反复迭代公式解决自洽性问题，但引入的噪声可能超过其所带来的信息增益。
• 截面均值填充简单易行，计算成本低且透明度高，但可能造成显著的有偏推断。

两个填充方法在不同算法中的效果分析

• 在单因子策略中，EM算法填充相比于直接删除缺失值而言，在策略平均收益和夏普上确实有改进，但不明显。
• 在多因子回归任务中，截面EM算法填充和截面均值填充在预测投资收益方面的差异不明显。
• 预测因子间的相关性大多接近零，这一现象令EM算法没有用武之地。
• 缺失值往往以块状出现，使用较远的数据进行填充事实上可以贡献的信息有限。

其他缺失值填充方法收益预测方法的组合效果

• 股票收益的预测与缺失值填充方法的关系不大，较复杂的EM算法填充的表现相比简单均值填充没有展现出显著的优势。
• 按市值对股票进行分组预测可以显著提升加权投资组合的收益表现。
• 在实际预测股票收益时，复杂的机器学习方法的表现可能不如简单OLS回归，只有神经网络的预测效果优于简单OLS。

风险提示

• 量化模型失效风险：本篇报告所述文章的结论是基于量化模型和历史数据的得到的，请注意样本外存在失效可能性，详细结论请参考文献原文。