不要先删重复句子,而是先把每条事实指派给一个“主页面”,其余页面只保留必要引用或改写角度。判断依据不是文字像不像,而是这条事实是否在别的页面承担了不同任务——承担了就保留但换角度,没承担就合并到主页面并在原处留一句指向。下面用一个假设的资料夹逐步说明。
把手上资料里反复出现的事实逐条标记,通常落在三类里:
三类混在一起时,你会觉得“到处都是重复”,实际只有定义型和背景型该合并。证据型事实重复出现往往是正常的,强行删除反而让页面失去支撑。
打开一个表格,三列即可:事实摘要、当前出现的位置、指派的主页面。逐条填完后做一次反向检查——每个主页面是否真的完整承载了这条事实?如果主页面只提了半句,而其他页面写得更全,那主页面才是需要补的那个,而不是删其他页面。
假设你有一份产品规格资料,其中“适用温度范围”这一事实同时出现在选型指南、安装说明和常见问题三个页面。归属判断如下:选型指南用它做筛选条件,安装说明用它做安全边界,常见问题用它回答“能不能用在室外”。三者任务不同,都该保留,但表述应各自贴合语境,而不是复制同一句话。真正该合并的是三个页面都写了一遍的“该范围依据某标准划分”这句背景说明,把它收到选型指南,另外两处只留结论。
有人做完去重后发现,页面之间的相似度确实降低了,但读者停留、后续点击并没有同步改善。这不奇怪,因为相似度只是一个文本指标,它下降的原因可能是你把证据型事实也删了,导致页面论证变薄。
要区分两种解释,可以查一组可核对的证据:被删掉的事实,在原文里是否紧跟在某个结论之后?如果是,那它承担的是支撑作用,删掉后结论就悬空了。反过来,如果被删的事实只是孤立地重复定义,删掉后段落逻辑依然完整,那这次合并就是有效的。两种情况的处理结果不同:前者应把事实以更贴合语境的方式写回去,后者可以继续清理。
关键动作:对每条被删事实,回看它前后各一段,确认结论是否还站得住。站不住就恢复,站得住就进入下一步——检查主页面是否已完整收录。
直接删空会留下断裂的阅读体验。常见做法有三种,按场景选用:
选择依据是读者的下一步意图:他读完这段是要继续判断,还是只需要一个确认。需要继续判断就给出指向,只需要确认就留结论。
与其每次发布后回头查重,不如在添加内容时就加一道判断:这条事实是否已有主页面?有就只写结论和视角差异,没有就把它设为主页面并完整写清。这样做的结果是,冗余不会积累到需要大规模返工的程度,而每次新增内容都在强化主页面的权威性。
需要提醒的是,没有任何一个通用的重复率阈值适用于所有网站,也不存在删到某个字数就一定更好的规律。判断标准始终是:这条事实在当前页面是否承担了独立任务。承担了就留,没承担就合并,合并后回看结论是否仍然成立——这个动作决定了你下一步是恢复内容还是继续清理。