机器学习应用系列：DAFAT：基于Transformer模型的自适应解决方案

西南证券研究院发布的《DAFAT：基于Transformer模型的自适应解决方案》报告，探讨了如何提升Transformer模型在A股市场量化选股策略中的应用效能。报告首先分析了传统Transformer模型的局限性，包括计算复杂度高、数据和计算资源需求大、任务特定缺陷等，并指出其在金融时序数据上的直接迁移应用仍面临挑战。

为解决这些问题，报告提出了DAFAT模型，该模型从三个方面对Transformer模型进行自适应优化：

1. 位置编码自适应：针对传统正余弦位置编码的周期性失配和状态盲区问题，提出了双通道门控动态位置编码（DPE），包括时间周期编码和市场状态编码，通过门控网络动态调整权重分配。
2. 注意力机制自适应：针对传统全连接注意力机制的计算复杂度高和对噪声敏感的问题，提出了三重稀疏化注意力自适应机制，包括波动率门控、局部注意力窗口和Top-k稀疏选择，以提升计算效率和抑制噪声干扰。
3. 信息融合自适应：针对量价特征与基本面特征频次差异带来的信息失真、频率失配和交互缺失问题，设计了多尺度信息融合框架，包含微观、中观和宏观尺度，并引入跨尺度注意力机制和残差融合，实现跨因子、跨周期的深度非线性交互与自适应信息整合。

报告通过回测结果验证了DAFAT模型的有效性：

• 基础Transformer模型：2019年1月至2025年7月，IC均值为9.42%，多头组合年化收益率为28.70%，月均单边换手率0.88X。
• DPE_Transformer模型：IC均值为9.54%，多头组合年化收益率为30.60%，月均单边换手率0.86X。
• SA_Transformer模型：IC均值为9.98%，多头组合年化收益率为29.64%，月均单边换手率0.87X。
• MF_Transformer模型：IC均值为10.09%，多头组合年化收益率为30.22%，月均单边换手率0.82X。
• DAFAT模型：IC均值为11.07%，多头组合年化收益率为32.30%，最大回撤率33.00%。

模型消融测试显示，三个自适应优化模块两两组合的情况下，模型表现相较于传统Transformer模型有所削弱；而三个模块组合的DAFAT模型表现最佳。

在指数增强策略方面，DAFAT模型沪深300指数增强策略年化超额收益率为12.65%，中证1000指数增强策略年化超额收益率为14.57%。

报告最后展望了DAFAT模型的未来发展方向，包括引入时空图神经网络、研发条件计算机制、突破另类数据整合技术等。