检查访问状态与错误页,核心是看三件事:服务器返回的HTTP状态码、页面实际渲染出的内容、以及错误页是否会被搜索引擎当成正常页面收录。常见误解是“页面能打开就没问题”——实际上返回200却显示“内容不存在”,或返回404却带着大量正文,都会让抓取和收录判断出错。
浏览器或抓取工具收到的第一层信息是HTTP状态码,第二层才是HTML内容。两者可能不一致:
200:请求成功。但如果正文写着“已下架”,这就是“软404”,容易被误收录。301/302:跳转。301是永久跳转,302是临时跳转,用错会影响权重归集。404:资源不存在。适合已彻底删除且无替代内容的页面。410:资源永久移除,语义比404更明确。500/503:服务器错误或暂时不可用,通常是程序或数据库问题。判断时以状态码为准,同时人工看一遍页面文字。只靠“能不能打开”会漏掉软404和跳转链问题。
这是第一次接触时最容易执行的起点:
适用条件:只检查单个已知URL。判断结果:状态码与页面内容一致才算正常;不一致时先修内容或状态码,再谈其他优化。
页面多了以后,逐页打开不现实。可以导出URL清单,用抓取工具或脚本请求每个地址,重点记录:
假设某列表页有100个商品链接,其中12个返回404、5个返回200但正文是“商品已下架”。前者应决定是恢复内容还是做301;后者应改成404或410,而不是保留200。这里没有固定比例标准,按实际业务决定哪些页面值得保留。
错误页不是随便放一句话就行。需要确认:
如果错误页返回200,搜索引擎可能把它当正常页面收录,之后你要花更多时间处理重复或低质内容。
检查完不要只留一份报告。按结果分三类处理:状态码错误且内容已无价值,改为404或410;内容已迁移,设置301到最相关的新地址;状态码正常但内容是空壳,补内容或改成正确错误码。处理后再用同一份URL清单复测一次,确认状态码和落地地址符合预期。下一步可以从站点地图里随机抽20个URL,按上面的单页检查法过一遍,先建立对当前站点状态的基本判断。