网站链接诊断，怎样判断采集是否遗漏
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /1d3186e1746b.html
📄
网站链接诊断，怎样判断采集是否遗漏
判断采集是否遗漏，核心不是看采集总量够不够大，而是把“站内已知链接集合”和“采集结果里实际出现过的链接集合”做差集。差集中那些本应被抓取、却从未出现在采集日志或链接库里的URL，就是遗漏候选。接下来要做的，是确认这些候选是真正漏采，还是被robots、状态码、参数规则等正常排除。
先建立可对照的链接基准
没有基准就无法谈遗漏。基准应来自你自己的网站，而不是第三方估算。可用的来源包括：
- 站内导航、栏目页、文章列表页中出现的链接；
- 数据库或CMS中已发布内容的规范URL列表；
- XML站点地图中声明的URL；
- 内链系统中指向详情页的链接。
把这些来源合并、去重、统一协议与域名大小写后，得到一份“应被采集的URL集合”。注意带参数的URL、分页URL、标签页URL要单独标记，否则差集会被大量非规范链接污染。
用差集定位遗漏，而不是用总量猜测
把基准集合与采集结果逐条比对，输出三类：
- 两边都有：正常采集，可跳过；
- 基准有、采集无：遗漏候选，重点核查；
- 采集有、基准无：可能是重定向、参数扩散或外链发现，需另查。
短例子（假设）：基准里有 /article/1001 到 /article/1200 共200条，采集结果只出现 /article/1001 到 /article/1150。那么 /article/1151 至 /article/1200 这50条就是遗漏候选。此时不能直接断定“采集失败”，要继续看它们是否返回404、是否被robots禁止、是否只在登录后可见。
逐项排查遗漏候选的真实原因
对每个遗漏候选，按顺序检查以下项目，并记录判断结果：
- HTTP状态：返回200才具备被抓取的基础；301/302要跟到最终地址；404/410属于正常不存在，不算遗漏。
- robots.txt：确认该路径是否被Disallow；被禁止的URL不应计入遗漏。
- meta robots与X-Robots-Tag：出现noindex只影响索引，不等于不采集；nofollow会影响链接发现，要区分。
- 链接可发现性：该URL是否只存在于JavaScript渲染后、表单提交后或需要登录的页面。若采集器不执行脚本或不登录，这类链接天然不会被发现。
- 分页与加载方式：列表页是否只加载前若干条，后续依赖“加载更多”接口。此时遗漏的是列表暴露不足，而非采集器故障。
- 规范链接指向：若页面canonical指向另一个URL，采集可能把权重与记录归并到规范页，原URL在结果中消失属于预期行为。
只有排除了上述正常排除项，剩下的“应抓未抓”才是真正需要处理的采集遗漏。
处理与复查：让遗漏可验证地收敛
确认遗漏后，按原因分别处理：链接暴露不足的，补充静态入口或站点地图；被规则误拦的，调整robots或meta指令；需要登录或脚本的，改用能覆盖该场景的采集方式。处理完成后不要只看一次结果，要复查同一批遗漏候选：
- 重新生成基准集合与采集结果的差集；
- 确认原遗漏候选是否已进入采集结果；
- 抽查新出现的URL是否带来重复或参数扩散；
- 把本次判断依据（状态码、robots、canonical）留档，便于下次对比。
复查时若差集缩小但未清零，优先看剩余项是否属于正常排除；若差集反而扩大，检查是否新增了未被基准覆盖的链接类型。判断采集是否遗漏，最终依据始终是可对照的链接集合与可复核的排除规则，而不是某个单一指标的高低。
下一步：从你网站的站点地图和CMS已发布列表各取一份URL清单，合并去重后与最近一次采集结果做差集，先列出前50条遗漏候选，再按上面的检查项逐条标注原因。
