量化专题报告：从增量学习到元学习，深度学习训练新框架.pdf

量化专题报告：从增量学习到元学习，深度学习训练新框架。增量学习对传统的批量学习提升效果不大。增量学习是指在现有模型的基 础上，通过加入新的数据来更新模型的过程。与传统的批量学习不同，增量学 习可以更好地适应数据的变化，同时也更加高效，因为只需要处理新增的数据 而无需重新训练整个模型。在股票趋势预测的增量学习中，我们通过一系列增 量任务来逐步更新模型参数。在每个任务中，我们使用增量数据来微调模型参 数，并在测试数据上进行预测并评估模型性能。用这样的方法在 LSTM 深度神 经网络上进行训练，IC 从 3.6%提升到了 4.2%，提升效果不大。

元学习旨在学习一个机器学习模型的设定，使得这一模型在所有的训练任 务中表现最好。一个典型的元学习模型 MAML（Model-Agnostic MetaLearning），即“模型无关的元学习”是 17 年发表在机器学习顶级会议 ICML 上的一种通用优化算法，适用于任何基于梯度学习的模型。MAML 旨在为基模 型提供初始化参数，以便面对新任务时能快速学习。用 MAML 对机器学习模型 进行适应，应用至增量学习训练框架中，可以显著提升预测因子 IC，LSTM 模 型因子的 RankIC 从 4.2%提升至 6%，效果明显。

双步适应训练框架对数据与模型都进行元学习，来适应新的在线任务场 景。传统的增量学习存在的问题是，在线场景中，新数据会不断到来，而增量 数据与历史数据可能具有不同的联合分布，包括条件分布和协变量分布的变 化。若数据分布变化较快，则增量学习无法适应。用数据适应器对数据分布进 行适应可以解决这一问题。数据适应器也是一种元学习器，包含 2 个对于训练 数据进行线性变化的函数，用来学习怎样调整训练数据的分布才能更好的适应 分布变化，以获得更好的预测准确率。将数据适应器和模型适应器即 MAML 一 起使用，形成双步适应训练框架 DA，可进一步提升预测效果。

双步适应训练框架对传统深度学习模型都有提升。实证表明，双步适应训 练框架 DA 对于市场中流行的深度神经网络 LSTM 和 GRU 都有明显提升。若只 用模型适应器 MAML，可以显著提升预测因子 IC，但多头端收益提升不明显。 在加入数据适应器后可以显著提升因子多头端组合表现，其中 LSTM_DA 因子 多头组合在中证 500 内年化收益 14%，年化超额收益 17.6%，信息比率 2.37， 表现优秀。