robots.txt规则，批量页面只发现一部分时怎样划分对照组

📍 WDQWDWQD987AAAAA:216.73.217.9
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c7997414e276.html
📄

robots.txt规则，批量页面只发现一部分时怎样划分对照组

先给结论：不要按“已发现/未发现”分组，而要按“robots.txt规则对这批 URL 的抓取许可是否发生变化”分组。把同一路径模式、同一模板、同一上线时间、同一内链层级的页面拆成“规则变更后许可状态不同”的两组，再比较发现率。若两组差异稳定，才说明规则是候选原因；若两组都只被发现一部分，问题更可能出在抓取预算、内链或页面质量，而不是规则本身。

矛盾现象：同批页面为什么只有一部分被发现

常见情形是：一次批量上线几千个页面，站点地图全部提交，内链结构也大致相同，但过一段时间只有一部分出现在结果里。此时容易直接归因于 robots.txt 规则写错。但“部分被发现”本身不是规则错误的充分证据，因为规则通常按路径前缀或通配符生效，一旦命中，同组页面应当成片受影响，而不是随机挑一部分。

如果只有一部分被发现，先问一个可操作的问题：这些未发现的 URL，是否与已发现的 URL 落在 robots.txt 的不同规则分支上？例如 Disallow: /search/ 只影响带查询参数的搜索页，而 Disallow: /*?sort= 只影响带排序参数的变体。规则边界不清时，同模板页面可能被切成两半。

两种解释：规则误伤，还是抓取与质量因素

解释一：robots.txt 规则确实把一部分 URL 拦住了。典型表现是未发现页面集中在某个路径、参数或目录下，且用抓取工具请求这些 URL 时，抓取行为被规则禁止。注意，robots.txt 限制的是抓取，不等于可靠的索引移除；页面未被抓取，自然难以被发现。

解释二：规则没有拦住它们，限制来自抓取预算、内链深度或页面本身。表现是未发现页面分散在不同路径，没有清晰的规则边界；或者它们虽然允许抓取，但入口很少、内容高度重复、加载依赖脚本。此时站点地图提交也不保证收录，只能说明你声明了这些 URL 的存在。

能区分两种解释的证据：按规则边界做对照组

划分对照组的关键动作，是让两组页面在“规则许可状态”上不同，而在其他可观察条件上尽量接近。可以这样操作：

  1. 从批量 URL 中筛出同一模板、同一上线批次、同一内链层级的页面。
  2. 按 robots.txt 规则逐条匹配，标记每个 URL 是“允许抓取”还是“被规则禁止”。
  3. 只保留规则边界清晰、匹配结果确定的 URL，形成 A 组（允许）和 B 组（禁止）。
  4. 分别记录两组中“已发现”的比例和具体 URL 清单，而不是只看总数。
  5. 对 A 组中仍未发现的 URL，再检查内链入口数、响应状态和内容差异。

结果如何影响下一步：如果 B 组几乎全部未发现，而 A 组发现率明显更高，那么优先修规则边界，再重新观察；如果 A 组和 B 组都只发现一部分，规则就不是主要变量，应转向抓取预算、内链和页面质量。这个判断依赖一个假设：两组在模板、上线时间和内链条件上足够接近；若不接近，比较结果只能作为线索，不能当结论。

一个带假设的短例子

假设某站批量上线 2000 个商品页，其中 1000 个 URL 带 ?color= 参数，另 1000 个是干净路径。robots.txt 中写了 Disallow: /*?color=。一段时间后，干净路径被发现约一半，带参数页面几乎没有被发现。按规则边界分组后，带参数组属于“被禁止抓取”，干净组属于“允许抓取”。这时规则是带参数组未发现的最直接解释，但干净组只发现一半，说明还有第二个问题，需要继续查内链和抓取预算。

反过来，如果两组都只发现约一半，且未发现 URL 在两组中随机分布，那么把责任推给 robots.txt 规则就缺乏依据。此时更合理的动作是抽查未发现 URL 的入口深度和响应情况，而不是反复改写规则。

划分对照组时要避免的三个误区

更稳妥的做法，是保留一份按 URL 标注的对照表：规则匹配结果、是否允许抓取、内链入口数、首次发现时间。只要对照组的规则许可状态不同，而其他条件接近，你就能把“规则误伤”和“抓取与质量问题”分开处理，并据此决定是先改规则，还是先补内链与页面质量。

图1 图2
nginx