🧠 深度学习:LSTM、Transformer 与 GNN

时序模型(LSTM/Transformer)在收益预测上的现实战绩、图神经网络刻画产业链的思路、正则化与过拟合的工程武器库——何时值得上深度。

深度学习在量化里的战绩差异极大:在高频、高维、大数据的场景(订单簿、全截面)它建立了真实优势;在日频小样本场景它常常不敌一棵调好的梯度提升树。本篇按「数据条件 → 模型选择」的逻辑展开三大模型族,并给出过拟合的工程武器库。

何时值得上深度:三个前提条件

进入深度学习赛道前先对照三个门槛(缺一谨慎):

  1. 数据量:训练样本以百万计(日内分钟/Tick、全市场 × 长历史的截面样本堆叠);日频 5000 个观测不具备讨论资格;
  2. 输入高维且结构化:L2 十档 × 时间序列的矩阵、全市场截面 × 数百因子的面板——深度模型擅长「结构化高维输入的表示学习」;
  3. 工程团队:特征管道、训练基建、模型监控的持续投入(幻方的萤火集群是这个赛道的具象化,见梁文锋 )。

三个门槛全过,深度学习的边际收益才开始为正;否则它是一台精密的过拟合机器。

LSTM / GRU:时序表示学习的老将

结构直觉:门控循环网络维护一个隐状态,理论上捕捉任意长的时序依赖——「把过去浓缩为一个状态向量」。

在量化的现实:

  • 输入形态:单标的的滚动特征窗口(如过去 20 日的多维特征矩阵)→ 输出未来收益/排序分。相比「手工构造的时序特征 + 树模型」(见特征工程 ),LSTM 的理论优势是自动学习窗口与组合;实践中的现实是:小样本下自动学习的窗口多为噪声拟合,手工特征 + GBDT 常打平或更好;
  • 有效用例:输入维度高到手工特征无法覆盖时(全截面面板、分钟级多变量)——LSTM/TCN 作为「序列特征提取器」,其输出再接树模型或线性层(混合架构比端到端更稳);
  • 工程要点:序列要按时间严格分割(不能随机 shuffle 样本窗)、归一化统计只从训练窗计算(泄漏防线,见特征工程 )、状态ful/stateless 的选择(跨样本状态传递引入额外的漂移风险,默认 stateless)。

Transformer:注意力机制的时序改造

结构直觉:自注意力直接建模序列内任意两点的关联(不再逐步传递),并行训练高效、长程依赖友好——时间序列 Transformer(Informer/PatchTST 一族)在长序列预测上超越 LSTM 已有共识。

在量化的现实:同样的数据条件门槛适用;额外的两个注意点:

  1. 注意力的可解释性是诱惑也是陷阱——「注意力热图显示模型关注了昨天的放量」的叙事很动人,但注意力权重 ≠ 因果重要性(学术上已有系统性质疑),用它做交易解释要克制;
  2. 截面的注意力应用更有想象力:让股票之间互相 attend(截面关系建模)——「今天谁在领涨、谁被带动」的关系结构是 LSTM 类时序模型天然看不到的,而这正是 GNN 的领地。

GNN:产业链关系的数学化

结构直觉:市场不是独立的股票集合,而是关系网络(供应链上下游、同行业竞争、股东关联、概念板块交叉)——图神经网络在「节点 + 边」的结构上传播信息,天然表达「邻居影响」。

量化用例:

  • 供应链传导预测:上游原材料涨价 → 下游成本的传导有时滞与强度,GNN 用供应链图谱(供应商-客户关系数据)学习传导模式,预测下游公司的盈利/股价反应——比逐股模型多了结构先验;
  • 行业/概念的信息扩散:龙头股的信号向板块成员的扩散(A 股板块联动性强,见行业与主题 );
  • 工程现实:图谱数据本身是稀缺品(供应链关系需采购或自建,覆盖度决定上限);图结构的时变性(供应链关系会变)增加复杂度。GNN 量化目前是「有数据壁垒的团队的游戏」,通用性一般——但「把关系数据变成特征」的思想(图统计特征喂给普通模型)人人可用。

过拟合与正则化的武器库

深度模型在金融的过拟合管理是一整套工程而非一个参数:

  1. 模型端:Dropout(0.3–0.5,金融数据上要重于图像)、权重衰减、早停(验证集损失回升即停——金融里最有效也最便宜的防过拟合器)、网络容量克制(两层能行不用五层);
  2. 数据端:样本加权(近期样本加权,见监督学习 )、数据增强的金融版(加噪、时间窗滚动——有效性存疑,谨慎使用)、purged CV(标签重叠清除,金融深度学习的生死线,见机器学习策略 );
  3. 集成端:多种子/多架构/多窗口的模型集成(ensemble 平均显著降低方差)——金融深度学习里性价比最高的技巧:与其调参到极致,不如训 20 个 mediocre 模型平均;
  4. 评估端:测试区封存 + 尝试次数记账(深度学习的调参次数轻松过百,deflated 校正更必要,见统计推断 )。

一条清醒的总结:深度学习量化项目的失败形态高度一致——「训练损失漂亮 → 验证集还行 → 实盘拉胯」,失败点几乎都在第三环的过拟合或第一环的泄漏。上深度之前,先用线性模型 + 树模型把数据管线和评估体系的诚实度建好——它们是深度模型的「对照系」,没有对照系的深度学习无法知道自己是不是在自欺。

关联阅读:模型选择的总体框架机器学习策略 ;强化学习的分支强化学习交易 ;算力背景梁文锋 。