课程定位

模型在测试表上的成绩很好，上线后却表现不稳，可能是训练时用了实际预测那一刻还没有的数据。课程从特征工程和模型验证出发，用虚拟任务练习区分业务事件、资料写入与模型调用时间，梳理哪些字段在预测时可得，哪些仅适合做目标或事后分析。

课程内容与学习重点

从一次预测决策倒查数据可用时间

选取虚拟订单的交付风险预测，标出下单、拟预测、发运、签收与退回记录。给每个字段注明业务发生、写入系统及调用时可以读取的时间。对照已签收标签与计划签收日期，判断它们在预测之前各自能否取得。若同一个字段会被后续更新，应保留当时值和更新后的值，明确训练读取的是哪个版本。用一个跨日例子说明晚到数据为何可能让事后效果显得更好。

区分数据划分和特征制作中的泄漏

用同一虚拟对象出现在训练和测试的例子，观察重复记录、未来统计和全量预处理可能带来的偏差。比较先按时间或对象划分再做特征，与先汇总全部记录再划分的差别。给派生字段标记原始资料、统计窗口和拟预测时点，核对是否用到了目标发生后的信息。需要再处理历史回填时，保留使用的规则和版本，不把更新后的值直接当成当时可得。

为上线前验证准备时间对照与样本

从已经发现的模拟问题出发，记录可用字段、应移除字段和需要追溯的新窗口。用一批较晚时段的数据复测，并给边界订单准备能够人工复核的例子。核对预测结果是否在实际任务的可用时间生成，说明去掉疑似泄漏字段后出现的差异及还需调查的原因。将资料取数时点、模型版本、结果和仍待核实的字段写入评估记录。若上线后有一批字段因系统延迟只在次日补齐，可以用模拟名单分别按事后完整值和调用当时值计算，比较报表与实际决策的不一致。将需补查的原始时间、字段来源和相关流程人写入清单。

适合人群

适合数据分析、机器学习工程、模型测试及负责数据交付的业务人员。可准备脱敏的字段说明或虚拟事件表，重点练习标记当时能取得的记录与结果产生后的记录。

开课与报名咨询

单专题开课时间、授课城市、学习时长、费用及参加方式详询。咨询时可说明更关注预测日期、字段变更还是上线验证。

删除结果标签列就可以了吗？还要核对间接衍生字段、统计窗口和后续补录。

随机划分一定会导致泄漏吗？要看数据是否含时间依赖、相同对象和重复记录，再选择适当的验证方式。

温馨提示：课程内容为拟定，具体实际讲授内容由授课老师根据学员情况灵活调整，最终以课堂授课为准。