怎样处理公关危机：核对抓取限制
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e407e28cdd89.html
📄
怎样处理公关危机：核对抓取限制
核对抓取限制，本质是确认搜索引擎或抓取工具到底被哪些规则挡在门外。最直接的做法是：先用抓取工具模拟访问目标页面，再逐项检查robots.txt、页面meta指令、HTTP响应头和服务器防火墙日志，最后对照“允许抓取”与“实际抓取”的差异定位原因。多人协作时，把每一步的检查结果写进同一份记录，能减少重复排查和交接返工。
先观察：抓取失败有哪些可核对的现象
不要一上来就改文件。先收集现象，才能判断限制来自哪里。常见可观察项包括：
- 抓取工具返回
403、429或503，而不是正常200。 - 抓取工具显示“被robots.txt阻止”，但页面本身能正常打开。
- 页面源码里出现
<meta name="robots" content="noindex">或nofollow。 - 同一批URL中，部分能抓、部分不能抓，差异集中在某个目录或参数上。
- 服务器访问日志里，抓取工具的请求被规则拦截或返回空内容。
这些现象可能同时出现，也可能互相掩盖。例如，robots.txt允许抓取，但服务器防火墙仍可能返回403。因此观察阶段要把“谁返回了什么”记录清楚，而不是只写“抓不到”。
再判断：限制到底来自哪一层
抓取限制通常分四层，判断顺序建议从外到内：
- robots.txt：检查是否对目标抓取工具设置了
Disallow，以及规则是否误伤了整站或某个目录。 - 页面级指令：检查HTML中的
<meta name="robots">和HTTP响应头中的X-Robots-Tag，两者都可能阻止索引或抓取。 - 服务器与安全策略：检查是否因频率限制、IP封禁、User-Agent过滤或WAF规则返回403、429。
- 抓取工具自身设置：检查模拟抓取时使用的User-Agent、超时时间、并发数是否与真实抓取工具一致。
判断依据是“哪一层返回了阻止信号”。如果robots.txt返回允许，但服务器日志显示请求被拦截，问题就在服务器层；如果服务器返回200，但页面meta写了noindex，问题就在页面层。多人协作时，建议把每一层的检查结果写成“通过/不通过/待确认”，避免口头交接造成遗漏。
处理：按层修正并保留变更记录
确认限制来源后，按层处理：
- robots.txt误伤：修正
Disallow规则，保留原文件备份，并记录修改前后的规则差异。 - 页面meta或响应头阻止：移除或调整
noindex、nofollow，确认修改后页面源码和响应头一致。 - 服务器拦截：调整频率限制、白名单或WAF规则，先在小范围URL上验证，再扩大范围。
- 抓取工具设置不一致：统一User-Agent和并发参数，重新模拟一次，确认返回结果与真实抓取一致。
这里给一个假设例子：某页面抓取返回403，robots.txt显示允许，服务器日志显示请求被WAF按User-Agent拦截。处理方式是把该抓取工具的User-Agent加入白名单，而不是直接关闭WAF。适用条件是确认该User-Agent确实来自目标抓取工具；判断结果是重新抓取后返回200，且日志中不再出现拦截记录。
多人协作时，变更记录至少包含：修改时间、修改人、修改文件或规则、修改原因、验证结果。这样复查时不需要重新推断上一次为什么改。
复查：确认限制解除且没有引入新问题
修改后不要只看一次抓取结果。复查要覆盖：
- 目标URL是否恢复可抓取，返回状态码是否为200。
- robots.txt、meta指令、响应头三者是否一致，没有互相矛盾。
- 同目录或同参数的其他URL是否也被误伤或误放。
- 服务器日志中拦截记录是否下降，是否出现新的异常状态码。
比较改动前后时，要考虑季节、搜索需求变化和数据采集差异。抓取量上升不一定全是修改的功劳，抓取量下降也不一定全是限制未解除。复查的结论应写成“哪一层已确认解除、哪一层仍需观察”，而不是笼统写“已修复”。
下一步：把本次核对抓取限制的检查项整理成一份可复用的清单，交给下一位协作成员按同样顺序执行，并在每次变更后附上验证结果。
