参数扫描会让曲线变好看,也会让你系统性地骗自己。你试的组合越多,越容易“碰巧”扫出夏普很高的一组;若只展示冠军参数,等于做了一次未声明的数据挖掘。真实性检验(Reality Check)要回答的,正是这类问题:在承认“你其实试了很多次”的前提下,最优结果还有没有统计上的边缘?
一、它针对的是多重比较,不是单次回测
一次回测只是一个故事。危险通常发生在你对同一骨架扫了几十、几百组参数之后:样本内总会出现尖峰。Reality Check 的核心思想,是把“多次尝试”本身纳入评价——否则你看到的不是策略能力,而是选择偏差。
对个人研究者,这句话可以落成更朴素的纪律:扫描范围越大,越要怀疑全样本冠军;若拿不出样本外或统计检验支持,冠军参数默认不可信。
二、和 WFO 怎么分工
| 方法 | 主要切哪一刀 | 典型问题 | 常见误读 |
|---|---|---|---|
| WFO(步进验证) | 时间维 | 训练窗定出的参数,测试窗还能否用 | 以为过了WFO就等于可实盘 |
| Reality Check | 参数维 | 多重比较后,最优是否仍像真信号 | 以为p值好看就等于未来稳赚 |
两者互补。WFO 过、RC 不过,常见于“时间切分还行,但整体仍像扫运气”;RC 过、WFO 不过,则要检查行情切换或参数悬崖。单独迷信任何一种检验,都会留下盲区。
三、三个最常见的用法错误
第一,把 Reality Check 当成“稳赚证明”。它最多降低自欺,不提供收益承诺。第二,先把参数调到自己满意,再补做检验——等于考完试再出标准答案。第三,因为免费工具没有现成按钮,就完全放弃证伪;至少应留出未参与调参的样本外区间,只验不改。
四、可执行的研究顺序
先固定策略骨架(入场、过滤、出场、仓位、复权与成交口径),再扫描少数数值参数;读热力图时优先参数高原、警惕孤立尖峰;有条件做 WFO + Reality Check,没有就做手工样本外;任一项明显翻车,优先简化逻辑,而不是继续堆条件救曲线。
青柠量化 专业版在指标探测中提供参数扫描、WFO 与 Reality Check;免费版仍可完成策略搭建、常规回测与动画复盘,并把结果保存在本地。关键不是按钮名称,而是你是否真的在证伪。
下载与说明见产品页:
https://www.zpyztech.com/product/qingquant/
免责声明: 本文仅作量化知识科普,不构成任何投资建议。历史回测与统计检验不代表未来表现,请独立判断并自行承担投资风险。
读到这里,不如自己验证一次
文章里的逻辑,你可以在青柠量化里用真实数据重新跑一遍。免费,零代码。