网站死链：怎样识别配置互相冲突 - 一份可执行排查清单
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /0ceaed407474.html
📄
网站死链：怎样识别配置互相冲突 - 一份可执行排查清单
识别网站死链相关的配置冲突，核心是找出同一批URL被多个配置来源给出不同指令的情况。常见冲突方包括robots.txt、sitemap、页面内canonical、服务器重定向规则和CDN或WAF规则。判断方法不是看某一个文件写得对不对，而是把各来源对同一URL的指令并列比对，看是否出现“一个说允许抓取、另一个说禁止”“一个说已迁移、另一个说已删除”这类矛盾。
先明确哪些配置会互相打架
与死链处理相关的配置主要有五类，它们各自独立生效，但作用在同一URL上时可能冲突：
- robots.txt：控制抓取许可，不控制索引移除。禁止抓取不等于页面会从索引消失。
- XML站点地图：提交希望被发现的URL，但不保证收录。
- 页面内canonical标签：声明首选版本，与重定向目标不一致时会产生信号冲突。
- 服务器重定向规则：301或302决定旧URL去向，规则叠加时可能形成跳转链或循环。
- CDN、WAF或反向代理规则：可能在源站之外拦截、改写或返回不同状态码。
冲突的本质是：对同一个URL，不同层给出的状态码、抓取许可或首选版本互相矛盾。下面按清单逐项排查。
可执行排查清单
第1项：确认死链的真实状态码
要查什么：该URL从外部访问时返回的状态码，以及是否经过跳转。
怎么查：用命令行工具请求该URL，观察状态码和跳转链，例如 curl -I -L https://example.com/old-page。
结果说明什么：返回404或410说明资源确实不存在；返回301/302说明配置了跳转；如果源站返回404但外部看到200，说明CDN或WAF层改写了响应，冲突出在边缘层。
第2项：比对robots.txt与页面meta robots
要查什么：robots.txt是否禁止抓取该路径，页面内是否有noindex。
怎么查：打开 /robots.txt 检查Disallow规则是否覆盖该URL；再查看页面HTML中的meta robots。
结果说明什么：若robots.txt禁止抓取、页面又设了noindex，抓取被阻断后noindex可能无法被读取，形成“想移除却移除不掉”的冲突。robots.txt的限制不等于可靠的索引移除，这一点需要单独核查。
第3项：检查canonical与重定向目标是否一致
要查什么：页面声明的canonical地址，与服务器实际跳转目标是否为同一URL。
怎么查：查看页面 <link rel="canonical"> 的href，再与第1项得到的跳转终点比对。
结果说明什么：若canonical指向A、重定向却指向B，两个信号互相矛盾，搜索引擎需要自行判断，处理结果不稳定。一致时信号清晰。
第4项：检查站点地图是否仍收录死链
要查什么：sitemap中是否包含已返回404或已重定向的URL。 怎么查：提取sitemap中的所有URL，批量请求状态码，筛出非200的条目。 结果说明什么：sitemap提交不保证收录，但把死链留在sitemap里会持续向搜索引擎传递“这些URL有效”的错误信号，与服务器返回的404冲突。应移除或更新这些条目。
第5项：排查重定向链与循环
要查什么：一个URL是否经过多次跳转才到终点，或形成A→B→A的循环。
怎么查：用 curl -I -L 观察完整跳转链，或使用支持显示跳转次数的抓取工具。
结果说明什么：单次301通常可接受；多跳会稀释信号并拖慢抓取；循环则导致无法到达终点，等同于死链。规则叠加是常见原因，例如旧规则未清理又新增了规则。
两种处理方案的适用条件对比
发现冲突后，通常有两种处理方向，选择取决于冲突的性质：
- 方案A：统一到重定向。适用于内容已迁移、有明确新地址的情况。做法是让服务器301、canonical、sitemap三处都指向同一新URL。判断标准：三处目标一致即冲突解除。
- 方案B：统一到404/410。适用于内容已彻底删除、无替代页面的情况。做法是服务器返回404或410，同时从sitemap移除、页面不设canonical指向自身以外的地址。判断标准：状态码与sitemap、内链均不再引用该URL。
选择依据是“这个URL还有没有对应的有效内容”。有则用方案A，没有则用方案B。两者混用（例如一边返回404一边在sitemap保留）就是需要消除的冲突。
验证与后续检查
修改配置后，需要重新执行第1至第5项，确认同一URL在各来源处信号一致。注意HTTPS不保证安全无漏洞或排名，它只解决传输加密问题，与死链冲突无关。不同搜索引擎对robots.txt、canonical和sitemap的支持细节须分别核查，不要假设一套规则在所有引擎中行为相同。
下一步：选取站点中状态码非200的URL各一条，按本清单五项逐一比对，记录每项的信号来源与结果，找出不一致的层，再决定采用统一重定向还是统一404。
