课程定位

用分类模型给售后工单打标时，整体准确率看起来很高，真正需要人工优先处理的少数类却可能漏掉。相反，简单降低阈值也可能把大量常规工单送去人工复核。本专题从分类模型评价指标出发，以模拟工单为样例，练习区分打分和判定，比较多个候选阈值的实际代价，并把选择理由交接给业务和技术同事。

课程内容与学习重点

一、用同一批工单定义分类结果

先说明预测要辅助什么决策，例如将可能需要复查的售后异常交给值班人员。确认正例、负例和暂无法核实的工单各自如何标注，列出与业务确认一致的观察区间。课上用一组已脱敏的样本表核对标签、模型分数、实际处理结果是否对应同一工单，防止重复转接记录使某类样本被计了多次。

将同一份预测结果按候选阈值归为四种情况，用通俗语言解释正确提示、错误提示、正确放行和漏提示。比较班次或业务类别的样本数量，列出样本较少的分组。若工单仍在跟进、实际类别未确认，单独标为待观察，避免先把它当作误判再更新标签。

二、同时比较漏判和人工工作量

给出几组候选阈值，要求每组使用相同样本和一致的判定方向，分别统计新增转人工数量、可见漏判数量与需人工复查的队列长度。以日常班组可处理数量为例，检查某个阈值能否让人工完成必要复核。课堂对照两个案例，说明不同错误后果下为什么选择可能不同。

挑选靠近候选阈值的一小组工单，回看原始描述和人工结果，区分模型过度自信、标签本身含混、记录时点未到等情况。将问题整理成可以重查的例子，描述具体误判发生在哪一类工单，写出需要补充的字段或业务定义，避免把所有问题都归为需要重新训练。

三、用独立样本检验和记录调整条件

用保留时段内的另一组工单复核候选阈值，比较少数类在不同时段的样本数量和错误分布。汇报时同时标明观察区间、业务场景、人工处理能力及未结案样本数量。若分组数据太少，写明现有结果只能支持继续观察，并设置下一次取得足量样本后的复核时点。

最后形成决策卡，记录候选阈值、适用范围、评价指标、例外场景、预计转人工量和恢复旧设置的条件。课堂模拟两组人分别负责模型与客服运营，互相复述对方需要看到的数据。能从卡片回到具体样本和定义，就便于后续试运行时排查偏差从哪里产生。

练习可使用表格或可复用的教学样例，交付候选阈值比较表、临界样本复核记录和一张调整决定卡，重点检查评价口径和人工成本是否清楚。

适合人群

适合数据分析师、初学分类模型的同学，以及需要参与业务规则和人工复核流程设计的售后或运营人员。

开课与报名咨询

本专题的开课时间、地点、学制及学习费用详询。咨询时可以说明所在岗位、已有经验和最想练习的业务问题。

只会用表格能跟上吗？可以先使用已提供模型分数的样本表进行比较，练习重点是结果解释和决策口径。

是否只看准确率就能选阈值？课程会结合漏判、人工工作量、样本分布及业务后果综合比较候选方案。

温馨提示：课程内容为拟定，具体实际讲授内容由授课老师根据学员情况灵活调整，最终以课堂授课为准。