ML 在图像上做出了超越人类的表现,在市场上却常常跑输一个线性因子模型——这不是 ML 不行,而是金融数据改写了游戏规则。本篇先讲清规则怎么变的(三重诅咒),再给一张「ML 适合做什么」的任务地图,最后校准对 ML 量化的正确预期。
金融数据的三重诅咒
诅咒一:信噪比极低。 图像分类的信噪比是「信号为主、噪声为辅」;收益率预测的信号占比常在 1% 以下——月度收益 R² 能稳定达到 0.5%–2% 已是顶级行业水平。量化对照:月度选股模型的预测精度,大致相当于「抛硬币时让它偏向你 51:49」——而 ImageNet 顶级模型的准确率是 90%+。后果:模型的拟合能力越强,能拟合掉的噪声越多——「训练损失一路下降」在金融里常常意味着「过拟合一路加深」。深度模型的百万参数在这个信噪比下,多数容量用于记忆噪声。
诅咒二:样本量相对不足且不独立。 日频 20 年 ≈ 5000 个观测,且自相关 + 波动聚集让有效样本量远小于名义值(见概率论基础 );截面可以扩样本(N 只股票 × T 期),但同一日期的截面样本共享宏观冲击,不是独立样本。粗略的对比:训练一个图像分类器用百万级独立样本,金融截面 20 年 × 5000 股 = 千万行,但独立「时间切片」只有 240 个月——样本的天花板是时间,不是行数。深度学习引以为傲的「大数据红利」在金融的数据量级下基本缺席。
诅咒三:分布持续漂移(non-stationarity)。 猫十年后还是猫,但「低估值溢价」会随参与者结构变化——市场会学习并消灭可预测性(有效市场的作用力方向,见EMH )。模型训得越好,越可能精确拟合了一个正在消失的规律;且回测与实盘之间隔着 regime 变化(「回测即过去时」问题,见因子失效 )。实证的刺骨之处:ML 模型的样本外衰减常比线性模型更快——它把「旧的规律」学得更深,regime 翻转时摔得更重。
三重诅咒的合成结论:金融 ML 的竞争不在「模型多强」,而在「如何在不合观数据上防止模型自欺」——特征工程、样本外纪律、purged CV 的优先级高于任何网络结构。
ML 适合与不适合的任务地图
适合(信号→信号,监督学习的主场):
- 非线性因子合成:数十个低相关因子 → 一个复合预测——树模型的核心战场(见机器学习策略 );
- 横截面排序:Learning to Rank 直接优化排序,与选股目标天然对齐(见监督学习 );
- 状态/Regime 识别:聚类、HMM 把「市场状态」变成可观测变量(见非监督学习 );
- 另类数据的结构化:文本 → 情绪分数、公告 → 结构化字段(NLP 作为特征工厂,见LLM 应用 );
- 执行与微结构优化:订单流预测、最优执行的强化学习(数据量大、目标清晰,见强化学习 )。
谨慎/不适合的用法:
- 端到端预测价格:「输入行情序列 → 输出涨跌」的黑盒交易——三重诅咒的重灾区,样本外普遍崩坏;正确的路径是「可解释特征 + ML 合成」而非端到端;
- 直接输出仓位:让模型学「该买多少」——仓位是风险偏好与约束的函数(规则层),混进预测层会失去可审计性(分层架构见下文);
- 高频数据不足时的深度模型:日频 + 50 特征上 LSTM/DNN——复杂度与数据量的错配(边界讨论见深度学习量化 )。
正确的心智:ML 是因子合成器,不是印钞机
把 ML 嵌入量化体系的正确姿势是分层:
| |
这样做的三重好处:ML 的输出可检验(IC、分组、衰减照跑,见因子检验 )、可归因(组合层看它是一个独立信号源)、可下线(失效时按因子协议处理,而不是对着黑盒发呆)。相反,若让 ML 直接接管仓位,它的错误将直接变成交易——无检验、无归因、无刹车。
预期的最后校准:ML 量化做得好时的合理产出是——比线性合成高 10%–30% 的 IC、更好的非线性交互利用、更自动化的因子迭代;不是夏普翻倍、不是「AI 挖出人类想不到的财富密码」。一个诚实的对照实验做法:同一份特征,分别跑线性回归、逻辑回归与 LightGBM——如果 LightGBM 的样本外 IC 没有高出线性 20% 以上,说明特征的线性部分已经吃干了信息,换模型的边际价值接近零(先做这个实验,再谈深度学习)。幻方式的 AI 量化 = ML × 十年数据工程 × 万卡算力 × 千人团队,缺一项都不可复制(见梁文锋 )。
关联阅读:合成层的技术机器学习策略 与特征工程 ;纪律的地基Walk-Forward ;AutoML 的边界自动化因子挖掘 。