机器学习应用系列专题报告：DAFAT，基于Transformer模型的自适应解决方案.pdf

机器学习应用系列专题报告：DAFAT，基于Transformer模型的自适应解决方案。 传统 Transformer 模型局限性与 DATAT 模型概述：Transformer 模型在位置 编码以及注意力机制方面均有一定的优化空间，同时大多数深度学习模型均以 高频量价为主，基本面特征频次低且更新滞后难以应用。经回测，在仅选择量 价特征的基础上，Transformer模型 2019年 1月至 2025年 7月 IC均值 9.42%， 多头组合年化收益率为 28.70%，月均单边换手率 0.88X，具备一定的提升空 间。

动态位置编码自适应：针对 Transformer模型传统正余弦位置编码存在的周期 性失配以及状态盲区等问题，本文提出了双通道门控动态位置编码 （Double-Gate DPE），分别包括时间周期编码以及市场状态编码，代替原有 正余弦位置编码。经回测 DPE_Transformer因子 2019年 1月至 2025年 7月 IC 均值为 9.54%，多头组合年化收益率 30.60%，月均单边换手率0.86X。

稀疏注意力机制自适应：针对传统 Transformer全连接中存在的计算复杂度高 以及噪声敏感等问题，本文提出了提出三重稀疏化注意力自适应机制，该机制 可以在提升计算效率的同时，加大注意力机制的局部针对性聚焦模式，减少对 噪声时段的关注。该稀疏注意力机制分别包括市场波动率门控、局部注意力窗 口以及 TopK 稀疏选择。经回测，SA_Transformer 模型 2019 年 1 月至 2025 年 7月 IC 9.98%，多头组合年化收益率为 29.64%，月均单边换手率 0.87X。

多尺度时序信息融合自适应：除量价特征以外，本文引入基本面特征以补全特 征维度。但传统基本面特征季度发布，与日频量价特征存在显著频次差异。根 据常规量价特征与基本面特征处理存在的问题，本文设计了多尺度信息融合框 架（微观、中观以及宏观）。经回测，MF_Transformer 因子 2019 年 1 月至 2025年 7月 IC 10.09%，多头组合年化收益率 29.63%，月均单边换手率0.82X。

模型消融测试：上述三个不同的自适应优化模块（DPE、SA、MF）优化情况 下模型较基础 Transformer 模型均有所提升，但两两组合的情况下，模型表 现相较于传统 Transformer 模型具备一定的削弱效果。三个自适应模块组合下 DAFAT自 2019年 1月至 2025年 7月因子 IC均值 11.07%，多头组合年化收 益率 32.30%，最大回撤率 33.00%，整体较其他模型表现提升相对明显。

指数增强策略：DAFAT模型沪深 300指数增强策略年化超额收益率 12.65%， 近一个月、三个月、一年、三年超额收益率分别为-0.25%、0.20%、14.76% 以及 10.39%；DAFAT模型中证 1000指数增强策略年化超额收益率 14.57%， 近一个月、三个月、一年、三年超额收益率分别为-0.60%、2.41%、20.85% 以及 16.79%。