深圳融克迪特科技有限公司

一、本讲目标

一个 CatBoost 模型在某一段验证期表现很好，并不代表它已经足够稳。量化里真正难的是：市场状态一变，样本分布一换，模型还剩下多少有效性。

这一讲要解决的是：怎样系统地做 CatBoost 的鲁棒性测试，而不是只看一次回测曲线。

二、环境准备：鲁棒性测试到底在测什么

鲁棒性不是单一指标，它至少包括四层意思：

1. 不同时间段下，模型是否还能工作。
2. 不同市场状态下，模型是否还能维持基本排序能力。
3. 特征轻微扰动后，模型输出是否会剧烈翻转。
4. 成本、滑点、样本缺失增加后，策略是否还有可执行性。

如果你只看“测试集均值收益不错”，其实还远远不够。

三、操作步骤：从时间、状态、扰动、交易成本四层做测试

鲁棒性测试最好固定成一个清单式流程。这样每次模型更新以后，你都能用同一套方法比较新旧版本，而不是凭感觉挑几张图看。

3.1 第一步：做滚动时间切片

先不要只看整段测试集结果，至少要把测试结果按月、按季度、按年份切开看。

你需要重点观察：

• 表现是否只集中在某一个阶段。
• 有没有连续几个月明显失效。
• 模型在新样本进入后是否迅速衰减。

如果模型只在一小段行情里有效，后面再漂亮的平均值也要打折看。

3.2 第二步：做市场状态分层

量化模型经常在某些状态里有效、在另一些状态里明显失灵。你可以先按任务需要，把市场大致分成：

• 趋势较强
• 震荡较多
• 波动放大
• 流动性偏弱

再分别看 CatBoost 在这些状态下的排序、分层收益和回撤表现。真正稳的模型，不一定每种状态都强，但至少不该在某一类状态下完全崩掉还没人知道。

3.3 第三步：做输入扰动测试

这一步是很多团队最容易忽略的。你可以有意识地给输入加一点现实噪声，例如：

• 部分特征轻微缺失。
• 少量样本延迟一天更新。
• 成交量类特征做轻度缩放扰动。

如果模型因为一点轻微扰动就大面积翻分，说明它可能过度依赖少数脆弱特征。

3.4 第四步：把交易成本放进来

很多模型在不考虑成本时很好看，一旦加入实际换手、滑点和容量约束，优势就明显缩小。鲁棒性测试里，成本不是附属品，而是必须项。

对选股或事件模型来说，至少要检查：

• 加入双边成本后，高分层是否仍然领先。
• 高分层是不是换手过快。
• 收益是否主要来自少数难交易样本。

如果你在这个阶段才发现模型的优势主要来自最难成交、最容易冲击成本的那一小撮样本，那么更合理的方向通常不是继续优化预测误差，而是回头改约束和分层规则。很多研究端看起来不错的 alpha，真正进入交易端后，最先被吃掉的就是这部分“纸面优势”。

3.5 第五步：给鲁棒性设通过门槛

鲁棒性测试不是做完一堆图就结束，最好还要有明确门槛。例如：

• 任一关键状态下不能完全失去排序能力。
• 加入基础交易成本后，高分层仍需保留正向优势。
• 滚动窗口里不能长期连续失效而没有解释。

这些门槛不一定全都写死成数字，但至少要提前约定“什么情况算可上线，什么情况必须回到研究端重做”。

从研究到上线之间，鲁棒性结论还应该被真正用起来。例如某个模型在高波动状态下分层效果明显下降，那它后续就不该继续被当成“全市场通用模型”来使用，而应该在调仓频率、仓位上限、市场状态过滤器里体现出这个边界。鲁棒性测试的价值不只是淘汰模型，更是帮助你给模型找到合适的适用范围。

如果测试已经反复表明某类状态下效果不足，就应该把“停用条件”写进策略说明，而不是寄希望于实盘时再临场判断。

四、工具落地：一个简单的状态切片评估框架

test_df = test_df.copy()
test_df["pred"] = model.predict(test_df[feature_cols])

# 示例：按波动率状态切片
test_df["vol_regime"] = pd.qcut(test_df["market_vol_20d"], 3, labels=["low", "mid", "high"], duplicates="drop")

summary = (
    test_df.groupby("vol_regime")
    .apply(lambda x: x[["pred", target_col]].corr().iloc[0, 1])
)

print(summary)

你不一定非要用这一种切法，但一定要形成一个固定动作：模型出结果以后，按你最关心的状态维度再拆一遍看，而不是只保存总表。

五、常见问题排查

鲁棒性测试最常见的误区，是把它做成结果展示，而不是决策过滤。真正有用的鲁棒性工作，最终应该能回答一句话：这个模型现在到底能不能进入下一步。

如果测试结果显示模型只在某一种市场状态里明显有效，也不代表模型没价值。更稳的做法是把这种适用边界记录下来，作为后续模型开关、仓位约束或市场状态过滤的一部分，而不是非要把它改造成“所有状态都一样强”的模型。

5.1 问题一：整体没问题，但某些阶段突然掉得很厉害

先别急着全盘推翻模型。先看这些阶段有没有共性，例如：

• 宏观波动突然放大
• 行业轮动极快
• 事件密集披露
• 数据缺失率上升

有时候问题不是模型完全没用，而是它只适合一部分状态，却没有被明确识别出来。

5.2 问题二：轻微扰动就导致高分样本大换位

这通常说明模型过度依赖少数输入。此时可以回头检查：

• 特征是否过于共线。
• 某些列是否权重过高。
• 训练时是否把树深调得过深。

5.3 问题三：成本一加，优势明显缩水

这不代表模型没价值，但说明你真正可交易的 alpha 可能没有想象中厚。之后应更多关注分层持有周期、调仓频率和样本容量，而不是继续在误差指标上内卷。

六、本讲完成标准

如果你已经做到下面几点，这一讲就算完成：

1. 知道鲁棒性测试不能只看一次整体回测。
2. 知道至少要从时间切片、状态分层、输入扰动和交易成本四层复核模型。
3. 知道模型在不同市场状态下表现不同是正常现象，但必须被识别出来。
4. 知道轻微扰动就翻分通常意味着模型过脆。

七、系列衔接

本讲是《CatBoost量化建模完整学习计划》的第 8/9 讲，当前主题是《CatBoost模型鲁棒性测试：市场状态切换下的稳定性评估》。

上一讲：第 7 讲《CatBoost跨市场迁移：A股与期货数据域适配方法》。

下一讲：第 9 讲《CatBoost生产化部署：批量推理、监控告警与漂移修复》。

八、风险揭示与免责声明