robots.txt：临时维护页撤下后，哪些残留信号需要核对
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /2d8ddf75465d.html
📄
robots.txt：临时维护页撤下后，哪些残留信号需要核对
临时维护页撤下后，最该核对的是那些“当时看起来正常、恢复后仍在影响抓取判断”的残留信号：维护页返回的状态码、robots.txt 当时的拦截范围、站点地图与规范化标签是否同步恢复，以及日志里抓取行为是否回到维护前。下面用一个假设情境说明判断顺序。
假设情境：维护页撤下了，但抓取没有马上恢复
假设一个站点的产品目录在维护期间对所有爬虫返回 503，并在 robots.txt 中临时加了 Disallow: /catalog/。维护结束后，页面恢复 200，robots.txt 也删掉了那行规则。三天后，站内搜索流量没有明显回升，抓取日志里 /catalog/ 的请求仍然很少。
此时不能直接把“流量没回来”归因于 robots.txt 残留。抓取量下降还可能是：维护期间积累的抓取预算被其他目录占用、站点地图仍指向旧地址、页面 canonical 仍指向维护页，或者搜索引擎需要更长时间重新评估。先分清哪些是残留信号，哪些只是恢复延迟。
第一步：核对状态码，而不是只看页面是否能打开
维护页撤下后，最容易残留的是状态码层面的信号。用 curl -I 检查目标 URL 的响应头，确认返回的是 200，而不是 503、302 或 304。如果维护期间把整个目录返回 503，恢复后要逐个抽查重点目录，而不是只测首页。
- 返回 503 加
Retry-After时，恢复后应确认该响应头已消失；否则爬虫可能继续按维护期处理。 - 返回 302 跳转到维护页时，要确认跳转已移除；残留跳转会让规范化信号指向维护页。
- 返回 200 但内容仍是维护文案时，属于内容残留，不是状态码问题，处理动作不同。
如果状态码已恢复但抓取仍少，下一步转向 robots.txt 本身和日志，而不是继续改页面。
第二步：核对 robots.txt 的恢复范围是否与维护范围一致
维护期间临时加的规则，恢复时容易只删掉一部分。核对时不要只看文件是否存在，而要看具体路径：维护时拦截了哪些目录，恢复后这些目录是否都已放开。假设维护时加了 Disallow: /catalog/，恢复时只删了 /catalog/ 却没有处理 /catalog/search/，那么搜索类页面仍会被拦截。
同时要确认 robots.txt 没有被其他规则意外覆盖，例如通配符或 Disallow: / 的残留。这里有一个关键取舍：如果维护页只影响少数目录，恢复时精确放开对应路径比直接删除整个文件更安全，因为后者可能把维护期间不想暴露的路径一并放出。
需要明确的是，robots.txt 的抓取限制不等于可靠的索引移除。即使恢复后放开了抓取，已经抓取过的维护页内容仍可能留在索引中，需要单独核对。
第三步：核对站点地图、canonical 和内部链接是否同步恢复
维护期间常见的联动改动是：站点地图被替换成维护页、页面 canonical 指向维护页、内部链接指向维护入口。恢复后这些信号如果没同步改回，爬虫会继续收到“维护页才是规范版本”的提示。
- 打开站点地图，确认 URL 列表已恢复为维护前的正常页面，而不是维护页或空列表。
- 抽查重点页面的 canonical，确认指向自身或正确的规范版本，而不是维护页。
- 检查首页和导航的内部链接，确认不再指向维护入口。
站点地图不保证收录，它只是发现路径之一。如果站点地图恢复了但页面 canonical 仍指向维护页，抓取和索引判断仍会受干扰。
第四步：用日志区分“残留拦截”和“恢复延迟”
日志是判断残留信号是否还在生效的直接依据。核对时重点看三类信息：目标路径的请求是否重新出现、返回状态码分布是否回到维护前、User-agent 是否覆盖主要爬虫。
如果日志中目标路径请求持续为零，有两种合理解释：一是 robots.txt 或状态码仍在拦截；二是爬虫尚未重新安排抓取，属于恢复延迟。区分方法是先确认 robots.txt 和响应头都已正常，再观察一段时间。如果确认正常后请求仍长期为零，才需要进一步排查服务器防火墙、CDN 规则或安全插件是否单独拦截了爬虫。
假设维护前 /catalog/ 每天有若干次抓取请求，恢复后一周内仍为零，而其他目录抓取正常，那么更可能是该路径仍有残留拦截或链接信号未恢复，而不是全站抓取问题。这个对比只用于定位方向，不说明具体原因。
恢复后仍需单独核对的两种信号
第一，索引中的维护页。维护页如果曾被抓取并收录，恢复后需要确认它是否仍出现在索引中。robots.txt 放开抓取不会自动移除已收录的维护页。
第二，不同搜索引擎的支持差异。robots.txt 规则、维护状态码和站点地图的处理方式在不同搜索引擎之间可能不同，恢复后应分别抽查，而不是用一个引擎的表现推断全部。
把以上信号按“状态码 → robots.txt 范围 → 站点地图与 canonical → 日志”的顺序核对，能较快区分哪些是残留、哪些只是恢复延迟，再决定下一步是继续等待还是调整规则。
