西南证券-机器学习应用系列：DAFAT，基于Transformer模型的自适应解决方案

“精选摘要：型表现相较于传统Transformer模型具备一定的削弱效果。三个自适应模块组合下DAFAT自2019年1月至2025年7月因子IC均值11.07%，多头组合年化收益率32.30%，最大回撤率33.00%，整体较其他模型表现提升相对明显。指数增强策略：DAFAT模型沪深300指数增强策略年。”

1. 传统Transformer模型局限性与DATAT模型概述：Transformer模型在位置编码以及注意力机制方面均有一定的优化空间，同时大多数深度学习模型均以高频量价为主，基本面特征频次低且更新滞后难以应用。

2. 经回测，在仅选择量价特征的基础上，Transformer模型2019年1月至2025年7月IC均值9.42%，多头组合年化收益率为28.70%，月均单边换手率0.88X，具备一定的提升空间。

3. 动态位置编码自适应：针对Transformer模型传统正余弦位置编码存在的周期性失配以及状态盲区等问题，本文提出了双通道门控动态位置编码（Double-GateDPE），分别包括时间周期编码以及市场状态编码，代替原有正余弦位置编码。

4. 经回测DPE_Transformer因子2019年1月至2025年7月IC均值为9.54%，多头组合年化收益率30.60%，月均单边换手率0.86X。

5. 稀疏注意力机制自适应：针对传统Transformer全连接中存在的计算复杂度高以及噪声敏感等问题，本文提出了提出三重稀疏化注意力自适应机制，该机制可以在提升计算效率的同时，加大注意力机制的局部针对性聚焦模式，减少对噪声时段的关注。

6. 该稀疏注意力机制分别包括市场波动率门控、局部注意力窗口以及TopK稀疏选择。

7. 经回测，SA_Transformer模型2019年1月至2025年7月IC9.98%，多头组合年化收益率为29.64%，月均单边换手率0.87X。

8. 多尺度时序信息融合自适应：除量价特征以外，本文引入基本面特征以补全特征维度。

9. 但传统基本面特征季度发布，与日频量价特征存在显著频次差异。

10. 根据常规量价特征与基本面特征处理存在的问题，本文设计了多尺度信息融合框架（微观、中观以及宏观）。

11. 经回测，MF_Transformer因子2019年1月至2025年7月IC10.09%，多头组合年化收益率29.63%，月均单边换手率0.82X。

12. 模型消融测试：上述三个不同的自适应优化模块（DPE、SA、MF）优化情况下模型较基础Transformer模型均有所提升，但两两组合的情况下，模型表现相较于传统Transformer模型具备一定的削弱效果。

13. 三个自适应模块组合下DAFAT自2019年1月至2025年7月因子IC均值11.07%，多头组合年化收益率32.30%，最大回撤率33.00%，整体较其他模型表现提升相对明显。

14. 指数增强策略：DAFAT模型沪深300指数增强策略年化超额收益率12.65%，近一个月、三个月、一年、三年超额收益率分别为-0.25%、0.20%、14.76%以及10.39%；DAFAT模型中证1000指数增强策略年化超额收益率14.57%，近一个月、三个月、一年、三年超额收益率分别为-0.60%、2.41%、20.85%以及16.79%。

15. 风险提示：报告对应的相关结论完全基于公开的历史数据进行算法构建、统计以及计算，文中部分数据有一定滞后性，同时也存在第三方数据提供不准确或者缺失等风险；策略效果结论仅针对于回测区间得出，并不预示其未来表现，也不能保证未来的可持续性，亦不构成投资收益的保证或投资建议。