WPE模型如何通过预训练任务设计避免风格偏好污染？

WPE模型通过彻底改变预训练任务的监督信号，从根本上避免了风格偏好的污染。传统方法往往直接预测价格涨跌或重构输入特征，这容易使模型捕捉到训练期内有效的风格溢价（如小市值、低波动等）。WPE则遵循“先学习语言结构，再回答问题”的大语言模型哲学，其预训练目标完全脱离未来股票收益，转而预测日内微观交易行为的演化。

具体而言，WPE选取了六类行为目标：买方压力、撤单压力、委托激进度、大资金参与方向、波动状态和流动性危机。这些目标涵盖了订单流、参与者结构、流动性供给和价格波动等多个维度。模型预测的是这些行为变量在未来不同时间尺度（下一分钟、未来10分钟、未来30分钟）的条件概率分布，而非单一数值。例如，对于买方压力，模型输出Beta分布参数，既描述最可能的压力水平，也反映预测的不确定性。由于这些行为变量直接反映交易机制本身，与市场整体涨跌无直接必然联系，因此学到的指纹空间纯粹描述“资金如何参与、订单如何变化”，不包含任何关于未来收益方向的先验假设。

为进一步优化表征空间的结构，WPE引入了五个行为房间（Flow, Participant, Liquidity, Volatility, Cancel）和正交约束。每个房间由特定的预测任务梯度引导形成，例如资金流房间主要服务于买方压力和大资金参与的预测。这种设计迫使128维潜在空间形成有序的信息出口，不同任务从相关房间读取信息，避免了信息混淆。同时，房间正交损失函数限制不同房间之间的余弦相似度，确保各行为维度的独立性；行为一致性损失则要求指纹空间的几何距离反映行为摘要的相似性。通过这些约束，WPE生成的指纹不仅保留了全天交易的综合信息，还在空间关系上建立了明确的行为语义，使得相似交易机制的股票在指纹空间中彼此接近，从而为下游模型提供了稳定、可解释且不受历史风格偏见污染的行为底座。