robots - 识别配置互相冲突：先查这五处
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /6ef696f9d767.html
📄
robots - 识别配置互相冲突：先查这五处
识别 robots 配置冲突，核心是判断同一路径在 robots.txt、页面级 robots meta、X-Robots-Tag 响应头和站点地图之间是否得到了一致的“允许抓取、允许索引”信号。冲突不一定报错，也不一定立刻见效，但会让抓取和索引行为偏离预期。时间和人手有限时，按下面的清单从影响面最大的地方查起，每项都给出查什么、怎么查、结果说明什么。
先查 robots.txt 内部是否自相矛盾
要查的是同一爬虫对同一路径的规则是否互相打架。robots.txt 按 User-agent 分组，同一组内多条规则命中同一路径时，不同实现对 Allow 与 Disallow 的取舍不完全一致，长路径与短路径的优先级处理也可能不同。
- 查什么：把每个 User-agent 组单独看，找出同时命中同一目录的 Allow 和 Disallow。
- 怎么查：用文本编辑器按组折叠，逐组列出规则；对可疑路径手写几个测试 URL 做字符串比对。
- 结果说明什么：如果同一路径既有
Allow: /a/又有Disallow: /a/b/，说明规则依赖具体实现取舍，属于冲突信号，应合并成一条明确规则。
适用条件是站点规则较多、由多人维护。若规则很少且只有一条 Disallow，通常不必先查这里。
再查 robots.txt 与页面级指令是否方向相反
robots.txt 的 Disallow 只限制抓取，不保证页面不被索引；页面仍可能因外部链接被收录。反过来，robots.txt 允许抓取，但页面 meta 写 noindex，结果就是能抓不能收。两者方向相反时，先确认目标到底是“不抓”还是“不收”。
- 查什么：对同一 URL，比对 robots.txt 是否禁止抓取，以及页面
<meta name="robots">是否含 noindex。 - 怎么查：抓取页面 HTML 源码，搜索 meta robots；再在 robots.txt 中匹配该路径。
- 结果说明什么：若 robots.txt 禁止抓取且页面又写 noindex，抓取被挡住，noindex 可能读不到，移除效果不可靠，这就是典型冲突。
判断依据是抓取与索引是两个阶段，不能互相替代。需要移除索引时，优先让页面可抓取并返回 noindex，而不是只靠 robots.txt。
检查响应头与页面 meta 是否重复且不一致
X-Robots-Tag 是 HTTP 响应头形式的 robots 指令，常用于非 HTML 文件。当响应头和页面 meta 同时存在且取值不同时，限制更严的一方通常生效，但具体行为需分别核查目标搜索引擎的说明。
- 查什么：同一 URL 的响应头 X-Robots-Tag 与 HTML 内 meta robots 是否都出现，取值是否一致。
- 怎么查：用命令行查看响应头，例如
curl -I 页面地址；再取页面源码看 meta。 - 结果说明什么：响应头写 noindex、meta 写 index，说明两处信号冲突，应统一为一处，避免维护时改错地方。
适用条件是站点同时用服务器配置和模板控制指令。若只有模板控制，可跳过响应头这一项。
核对站点地图与 robots 指令是否互相拆台
站点地图用于提交可抓取 URL，不保证收录。如果站点地图里列出的 URL 又被 robots.txt 禁止抓取，或页面带 noindex，就等于一边提交一边拒绝，属于明显冲突。
- 查什么：站点地图中的 URL 是否被 robots.txt 禁止抓取，是否带 noindex。
- 怎么查：导出站点地图 URL 列表，与 robots.txt 规则和页面指令做交叉比对。
- 结果说明什么：命中禁止抓取的 URL 应从站点地图移除，或调整规则；否则提交信号与抓取限制相互抵消。
这一步适合 URL 数量可控的站点。数量很大时，先抽样检查最近新增和流量最高的目录。
用抓取测试确认最终生效结果
前面几项都是静态比对，最后要用实际抓取验证哪条规则真正生效。不同搜索引擎的抓取测试工具和报告口径不同，需分别核查，不能用一个工具的结果推断全部。
- 选一个冲突 URL 和一个正常 URL 作为对照。
- 用目标搜索引擎提供的抓取测试或 URL 检查功能请求该地址。
- 看返回的抓取状态、是否读到页面内容、报告的 robots 指令。
- 若抓取被拒，回到 robots.txt 定位规则；若抓取成功但报告 noindex，回到 meta 或响应头。
判断结果是：抓取成功且指令一致，说明该 URL 无冲突；抓取被拒或指令与预期相反，说明冲突仍在，按报告指向的位置修改后重新测试。
下一步：按上述顺序先处理 robots.txt 内部矛盾，再处理抓取与索引方向相反的问题，每次只改一处并复测，避免多个改动混在一起无法判断是哪条生效。
