Transformer架构下的量价选股策略：ChatGPT核心算法应用于量化投资.pdf

Transformer架构下的量价选股策略：ChatGPT核心算法应用于量化投资。ChatGPT 的广泛应用：ChatGPT 是基于 GPT 模型的大型对话式语言 模型，具有高质量文本生成、代码编写等多项功能。随着 ChatGPT 被 广泛关注，GPT 模型逐渐成为人工智能领域的研究热点，并开始应用 于其他领域。本篇报告将其核心算法 Transformer 应用于量化投资策 略。

自注意力机制：自注意力机制是 NLP 的一种数据处理方法，能够有效 捕捉输入序列各位置之间的关系。自注意力机制通过计算 query 向量 与 key 向量的相关性来加权平均 value 矩阵，得到输出结果；而多头 注意力机制则利用并行计算和拆分矩阵为多个头的方式，在自注意力 机制的基础上进一步提高模型训练效率。

Transformer 架构：Transformer 架构是一种采用自注意力机制的神经 网络模型，由位置编码、编码层和解码层组成。位置编码使用正弦和 余弦函数计算单词位置信息，编码器将序列中各位置之间关系的信息 进行编码并输出，解码器则使用编码器输出的序列信息逐个预测输出。 模型同时具备并行计算和高效捕捉关系的能力，被广泛应用于自然语 言处理、图像生成等领域。

基于 Transformer 架构的选股策略：本报告将 Transformer 模型应用 于股票涨跌预测中，选取个股涨跌幅和换手率作为面板数据输入，通 过输出股票未来涨跌概率进行分类。在月度调仓策略中，中证 500、 沪深 300 和全市场选股自 2020 年以来均获得良好的相对收益与较强 的回撤控制能力。

相对于传统神经网络的优势：1. 处理长期记忆；2. 变长输入序列；3. 并行计算效率；4. 预训练模型提高泛化能力。