股票分析专题：再探文本FADT选股.pdf

股票分析专题：再探文本FADT选股。本文承接前期研究文本 FADT 选股，重点关注如何对文本因子本身进行升 级。前期研究的核心思路是在特定场景下，以分析师研报文本的词频向量为 特征，以研报发布前后两日个股超额收益为标签，引导 XGBoost 模型学习 研报情绪蕴含的超额信息。在本文中我们将词频向量替换为 FinBERT 隐藏 层编码的特征向量作为后续浅度学习模型的输入，隐藏层编码蕴含更丰富的 文本语义信息，相比词频信息损失更少，以此带来更显著的 alpha 提升。

引入 FinBERT 编码以后文本因子收益提升明显

升级以后的文本因子十分层多头第一层年化收益由原版的 22.87%提升至 27.50%，相对中证 500 超额收益由 14.75%提升至 19.19%（回测期 20090123-20220930），提升较为明显。针对改进后的因子我们展示了三组 应用案例：1）构建 25 只股票的主动量化不等权选股组合，年化收益 45.90%， 相对中证 500 年化超额 36.35%；2）限制在总市值 100 亿以上的股票池中 用文本因子构建等权精选组合，Top20 年化收益 31.12%，相对中证 500 年 化超额 23.94%；3）构建沪深 300 内精选 30 不等权组合，年化收益 17.58%， 相对沪深 300 年化超额 12.44%。

FinBERT 是专门针对金融领域训练的 BERT，使用 Adapter-BERT 微调

BERT 是 Google 在 2018 年提出的自然语言处理模型，在超过 11 项的 NLP 任务中均取得十分惊艳的结果。本文使用熵简科技于 2020 年末开源的 FinBERT 模型，对于金融领域任务具有更强的针对性，在金融领域的相关 任务中表现均超过原版 BERT。由于 FinBERT 微调参数量超过 1 亿，我们 使用 Adapter-BERT 技术在基本不影响模型微调性能的前提下，降低微调参 数至约三百万，提升模型的训练效率。

模型升级：FinBERT 微调+CLS 层编码+XGBoost 二次训练

使用 FinBERT 来对分析师研报文本进行向量编码并构建文本因子，主要包 括三个步骤：1）使用万得新闻舆情文本对 FinBERT 进行微调，使得 FinBERT 的分类准确率可以达到 95%以上；2）使用 FinBERT 对分析师研报文本进 行编码，将预处理过的研报文本输入给 FinBERT，提取 CLS 层输出作为研 报的特征向量；3）使用上述编码好的特征向量替代词频向量，使用与原版 模型同样的标签，引导 XGBoost 模型样本内进行交叉验证训练，样本外预 测并构建 forecast_adj_txt_bert 因子。

多组扩展测试表明过拟合概率低，更充分的语义理解带来显著 alpha 提升

同样我们还是关注模型升级过程中是否有过拟合的问题。除了基础参数，我 们展示了五组扩展测试：1）文本预处理时，截断和分段的比较；2）FinBERT 微调与不微调的比较；3）CLS 层编码与全连接层编码的比较；4）CLS 层 编码与词频特征结合是否有提升；5）仅使用 FinBERT 微调的效果。整体来 看前四组测试都有效，模型升级大概率不是偶然因素导致的过拟合。

与传统因子相关性低，且不同场景下文本因子均有明显提升

此外我们讨论了 forecast_adj_txt_bert 因子与 Barra 因子及传统多因子的相 关性，发现相关性较低，alpha 特异性较强。最后我们在不同的场景下讨论 了文本因子升级的效果，发现在业绩发布场景、卖方分析师评级调整场景下 文本因子均有明显提升，再次说明模型升级较为稳健。