📍 WDQWDWQD987AAAAA:216.73.217.99
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a4e1d99b4689.html
📄

网站死链检查_测试环境与线上怎样对照

测试环境和线上环境的死链检查结果对不上，通常不是工具出错，而是两边被抓取的入口、robots规则、域名解析和页面版本不同。正确做法是：先让两边用同一份URL清单和同一套抓取规则，再分别导出结果，最后只对差异部分逐条判断，而不是拿两边的总数直接比较。

先确认两边检查的是不是同一批URL

测试环境往往只导入部分栏目，线上则包含历史页面、分页和参数页。如果URL清单不同，死链数量没有可比性。执行时可以从线上站点地图、导航和主要列表页提取一份URL样本，再把同样的路径拼到测试域名下，形成两份可对照的清单。

• 检查项：两边清单的URL数量、路径结构、是否带参数是否一致。
• 判断结果：清单一致，差异才可能来自页面本身；清单不一致，先补齐样本再谈对照。
• 适用条件：适合改版、迁移、批量改链接前后的验证。

抓取规则和访问权限会制造假死链

测试环境常开启访问密码、IP白名单或全站 robots.txt 禁止抓取，爬虫拿到403或抓取被阻断，就会把可访问页面记成异常。线上则可能只屏蔽部分目录。对照前要确认：

• 测试环境是否允许爬虫访问目标路径，返回的是200还是401、403。
• 两边 robots.txt 是否一致，被禁止抓取的URL不应计入死链结论。
• 是否使用了登录态或特殊请求头，导致一边能抓、一边不能抓。

需要说明的是，robots.txt 只能限制抓取，不能替代索引移除；站点地图也不保证收录。因此它只用于判断“这次检查有没有被规则干扰”，不能当作死链是否被搜索引擎处理的依据。

域名、跳转和协议差异要单独列出来

测试域名与线上域名不同，站内绝对链接可能仍指向线上，或者测试环境缺少HTTPS证书、跳转链不同。这类问题在测试环境显示为死链，在线上却正常，反之亦然。处理办法是把结果按三类分开：

1. 两边都返回404或410：真实死链，优先修复或设置合适跳转。
2. 仅测试环境异常：多为域名、证书、权限或配置差异，先排除环境因素。
3. 仅线上异常：可能是内容已删除、大小写路径不一致或服务器规则问题，需要回到线上日志核对。

假设某页面在测试环境返回404，线上返回200，先检查测试环境是否缺少该页面文件，而不是直接判定线上链接有问题。这里的关键是看返回状态码和最终落地URL，而不是只看工具给出的“死链”标签。

复查时用同一份清单跑第二轮

修复后不要重新随机抓取，而要用第一轮保存的URL清单再跑一次，对比每条URL的状态码变化。复查重点包括：

• 原404是否变为200或301，跳转是否指向相关页面而非首页。
• 内链是否已更新，避免同一路径在多个位置反复出现。
• 测试环境与线上是否同时通过，若只有一边通过，记录环境差异原因。

如果两边仍不一致，下一步是导出两轮的状态码表格，按“仅测试异常”“仅线上异常”“两边都异常”分组，再逐组核对服务器配置、跳转规则和页面文件，而不是继续扩大抓取范围。