课程定位

两条客服问题可能用不同词汇描述同一个现象，也可能只差一个否定词却含义相反。理解文本相似度，需要从分词、词权重和表示方式看结果，同时保留能人工验证的样本。本专题取自然语言处理中关于文本表示和文本相似度的部分，聚焦重复识别和候选匹配的评价。

课程内容与学习重点

为匹配任务建立清楚的人工判定口径

可从公开问答、产品说明或短句样本中选取内容，分别标记近义、主题相同但问题不同、字面相似但含义不同等情况。以业务咨询为例，保留设备型号、数量、时间与否定表达，说明为什么某些词对结论有决定作用。对不同长度的文本，可定义评估对象是标题、句子还是摘要，并记录处理前后信息有什么变化。用一张小型样例表保留原句、预期关联、理由和人工复核人。

比较不同文本表示如何影响排序

使用简化文本示例，观察分词、常用词处理、词权重和表示方式如何改变候选结果。对TF-IDF可检查哪些词贡献了较高权重，对语义表示则可比较同义改写、行业专有词和多个含义接近的短句。将相似度数值与样本排序一并记录，避免只凭单个分数解释匹配。对漏掉的正确结果，可检查分词是否把关键术语拆开，或文本是否缺少足够的上下文。

按业务代价复核误匹配和漏匹配

从人工标注中抽取一组边界样本，分别计算不同阈值与候选范围下的命中和错误，说明假阳性和假阴性各有哪些业务影响。若用于去重，可给难以判断的文本保留人工确认入口；若用于检索，可先比较前几项候选是否满足用户任务。记录测试集、表示方法、阈值、结果与需要增加的样本。课后可以用这套表格持续完善文本匹配的评价口径。

适合人群

适合自然语言处理入门、搜索与内容产品、知识运营、数据标注或测试人员。课前可用公开信息整理五到十组短文本，标出其中既相似又含义不同的一组。对文本处理还不熟悉的学员可先从例句和预期匹配关系入手。还可带一条经常被搜索遗漏的公开问题，说明期待找到哪篇内容，以及判断正确匹配的具体标准。

开课与报名咨询

单专题开课时间、授课城市、学习时长、费用及参加方式详询。可在咨询时注明应用于检索、重复识别还是内容归类。

相似度越高就应自动合并两条文本吗？需结合任务规则和错误代价。可以为接近阈值的样本保留人工核查，并记录确实合并或排除的原因。

自己的行业术语经常匹配错误怎么办？可补充行业典型正反样本，观察分词和表示方式如何处理关键词，再比较调整前后的结果。

温馨提示：课程内容为拟定，具体实际讲授内容由授课老师根据学员情况灵活调整，最终以课堂授课为准。