当页面数量从几十页涨到几百上千页,真正的问题不是“手工能不能做完”,而是手工做法的错误率、滞后性和不可追溯性会一起放大。判断标准可以归结为两条:这项工作是否需要逐页判断且判断规则尚未稳定;这项工作是否已经形成可重复规则、但执行量超过了人工可靠覆盖的范围。前者继续手工,后者应尽快转为规则化或脚本化处理。
规模扩大后最容易犯的错,是把所有工作都推给工具,或者反过来继续逐页人工检查。更稳妥的分法是看这项工作有没有稳定的判断规则。
一个可操作的判断动作:随机抽 20 个页面,让不同的人按同一份说明各检查一遍。如果两个人对同一页面的处理结论不一致,说明规则还没稳定,先别急着自动化;如果结论高度一致,只是页数太多做不完,就该进入下一阶段的规则化。
标题、描述、H1、canonical 这类字段在模板化站点里通常由同一套逻辑生成。规模小的时候,逐页看一眼还能覆盖;页面过百之后,人工检查只能抽样,漏掉的往往是模板分支里的例外页面。更合适的做法是把这些字段导出成结构化清单,用固定规则筛出缺失、重复、指向异常的行,再由人处理被筛出的少数页面。
这个动作的结果会直接影响下一步:如果筛出的异常集中在某几个模板,问题应回到模板层修复;如果异常分散且无规律,才需要逐页判断。把这两类混在一起处理,会让人误以为“手工更靠谱”,实际上只是没找到问题集中点。
页面少的时候,删掉一个页面后手动找内链还可行。规模扩大后,内链来源可能分布在列表页、推荐模块、历史文章和导航里,人工很难穷尽。可行的做法是先确定“哪些链接目标已失效”这一事实清单,再按来源模块分批处理。这里要注意,链接失效不等于必须立刻删除,有些指向旧页面的链接应改为指向新页面,有些则应保留并补充说明,这仍属于需要判断的部分。
参数页、筛选页、打印页、分页副本在站点变大后容易成倍出现。人工翻站很难判断哪些是真正重复、哪些只是相似。更有效的动作是先按 URL 模式聚类,再对每一类抽几个样本判断是否应保留索引。这里的关键是:聚类可以由规则完成,是否保留索引仍要人判断。把聚类结果直接等同于处理结论,容易误伤有独立价值的页面。
有一类工作看起来重复,实际上每次判断都依赖上下文,强行规则化会带来更大风险。
这里有一个容易被忽略的边界:抓取量、索引量或某项统计归零,并不能单独证明某项处理是正确的。它可能是抓取预算重新分配、页面被合并、规则调整后的正常波动,也可能是配置错误。需要结合日志、站点结构变化和实际页面状态一起看。
假设一个站点从 80 页扩展到 1200 页,其中 900 页是同一模板生成的产品页。
条件一:模板字段由同一套逻辑生成,且抽样检查未发现例外。此时标题、描述、canonical 的一致性检查应转为规则化处理,人工只处理规则筛出的异常行。继续逐页手工检查,只会让检查周期拉长,问题发现时间推迟。
条件二:模板存在多个分支,不同分支的字段来源不同,且抽样发现同一页面在不同分支下表现不一致。此时应先回到模板层梳理分支逻辑,而不是直接批量修改。规则化动作应推迟到分支逻辑明确之后,否则会把错误规则批量应用到更多页面。
这两种条件的区别不在站点大小,而在规则是否已经稳定。稳定则转规则化,不稳定则先解决规则本身。
完成这三项确认后,再决定哪些工作交给规则、哪些继续由人判断。规模扩大带来的真正变化,不是工作量变多,而是必须把“判断”和“执行”分开处理。把需要判断的工作继续留给有经验的人,把已经稳定的执行工作转出去,才是规模扩大后更可持续的分工方式。