用收录查询工具识别配置冲突,核心不是看“收录了多少”,而是把工具返回的抓取、索引、规范化信号放在一起对照:当同一批URL在工具里出现“可抓取但被排除”“已提交但未收录”“ canonical 指向另一个地址”等互相矛盾的结果时,就说明站点配置之间存在冲突。时间和人手有限时,优先处理那些同时影响多个URL、且工具明确显示“已发现—未收录”或“已抓取—未索引”的批次。
不要每次随机抽几个页面看。从收录查询工具里导出或记录最近一次“已发现”“已抓取”“已索引”三类计数,再取同一路径下10到20个URL作为固定样本。样本要覆盖:首页、栏目页、详情页、分页、带参数页。判断冲突的前提是样本固定,否则你看到的变化可能只是抽样差异。
观察时记录四项:工具报告的抓取状态、索引状态、页面声明的 canonical、以及 robots 元标签或响应头。这四项里任意两项指向不同结果,就是候选冲突。
常见冲突不是单一原因造成的,下面几种组合需要分别验证:
区分“可能原因”和“已经定位的原因”:看到“已抓取—未索引”只能说明该URL未被索引,不能直接断定是 canonical 冲突;必须打开工具里的URL检查功能,逐项核对上述四项信号后才能下结论。
时间和人手有限时,按影响面排序:先处理被多个URL共用的模板级配置,再处理单页配置。模板级冲突通常来自 canonical 模板、robots 元标签模板、站点地图生成规则三处不一致。
短例子(假设):某栏目页工具显示“已发现—未收录”,页面 canonical 指向栏目首页,而站点地图提交的是栏目页本身。这里至少存在两处冲突:canonical 与站点地图目标不一致,以及栏目页可能被模板统一 canonical 到首页。处理方式是先确认栏目页是否应独立索引,若是,则修正 canonical 与站点地图使其一致;若否,则从站点地图移除该栏目页。
复查不是看总数是否上涨,而是看同一批URL的四项信号是否从矛盾变为一致。判断标准:工具报告的抓取状态、索引状态、页面 canonical、robots 限制四者指向同一结论。若仍矛盾,回到观察步骤重新记录,不要凭印象判断。
不同搜索引擎对 canonical、robots 元标签和站点地图的支持情况须分别核查,同一批样本在不同工具里可能给出不同结果,这本身也是需要记录的信息,而不是直接当作错误。
下一步:从收录查询工具里导出最近一次“已发现—未收录”的URL清单,按路径分组,每组取一个代表页,逐项核对 canonical、robots 与站点地图三项配置是否一致,把不一致的组按影响面从大到小排进处理队列。