网站抓取规则：遗留系统无法改模板时有哪些可行调整边界
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /fc2c1ef4bf69.html
📄
网站抓取规则：遗留系统无法改模板时有哪些可行调整边界
能改的只有服务器层和边缘层，不能改模板时，抓取规则调整的可行边界大致落在 robots.txt、HTTP 响应头、站点地图、URL 重写与日志验证这几处；一旦需要改页面内的 meta 标签、链接结构或正文渲染方式，就超出了不改模板能覆盖的范围。
矛盾现象：样本页正常，规模化后出现例外
遗留系统上做抓取限制时，常见的反馈是：抽查十几个 URL，robots.txt 返回正常、页面也返回 200，看起来规则生效了；但上线一段时间后，日志里仍出现大量被禁止路径的抓取，或者本该放行的页面反而抓取量下降。样本成立、规模化失效，通常不是规则写错了，而是规则的生效范围被系统结构切碎了。
两种解释：规则覆盖不全，还是请求根本没走到规则层
解释一：规则覆盖不全。遗留系统常见多域名、多端口、多套反向代理并存，robots.txt 可能只在一处生效，其他入口仍返回默认内容或 404。此时爬虫访问不同入口，读到的规则并不一致。
解释二：请求根本没走到规则层。CDN、WAF、负载均衡可能先返回缓存副本、拦截页或重定向，robots.txt 和响应头在边缘就被替换，源站的调整对爬虫不可见。这种情况下无论怎么改源站配置，爬虫看到的都是边缘层的结果。
区分两种解释的证据
- 用同一路径分别请求源站 IP 和对外域名，比较返回的 robots.txt 内容与状态码；不一致说明入口分裂。
- 检查响应头中的缓存相关字段和中间层标识，若 robots.txt 被长时间缓存，说明边缘层在起作用。
- 在服务器日志中按 UA 和路径过滤，看被禁路径的请求是否真的到达源站；只出现在边缘日志、不进源站日志，指向解释二。
- 对比不同入口的返回差异是否稳定复现，偶发差异更可能是缓存或拦截策略，而非规则本身。
能稳定区分之后，才能决定下一步动作：入口分裂需要统一各入口的规则来源，边缘覆盖需要调整缓存和拦截策略，而不是继续改源站文件。
不改模板时，实际能动的几个位置
robots.txt 与响应头。这是最直接的可动点。可以在服务器或边缘层统一输出 robots.txt，并对特定路径追加 X-Robots-Tag。注意抓取限制不等于可靠的索引移除：被禁止抓取的 URL 仍可能因外部链接出现在结果中，只是摘要信息受限。
站点地图。不改模板的前提下，可以用脚本根据数据库或路由表生成站点地图，作为发现入口的补充。站点地图不保证收录，它只解决“被发现”的问题，不解决内容质量与重复问题。
URL 重写与规范化。通过 301、参数归一化、大小写统一，把同一内容收敛到单一地址，减少重复抓取。这一步不需要动页面模板，但需要确认重写规则不会把有效路径误伤。
日志验证。每次调整后，用日志核对目标路径的抓取量、状态码分布和 UA 构成。假设某次调整后目标路径抓取量归零，这既可能是规则生效，也可能是边缘拦截、DNS 变更或爬虫调度周期变化，需要结合状态码和入口分布排除其他解释，不能只凭单一指标下结论。
边界之外：哪些调整必须动模板
需要修改页面内 meta robots、rel=canonical、结构化数据、正文渲染方式或链接结构的调整，都要求改模板或前端输出逻辑，超出遗留系统的可行范围。若这些是问题根因，服务器层调整只能缓解，不能替代。此外，HTTPS 不保证安全无漏洞或排名提升，它只是传输层条件；不同搜索引擎对 robots.txt 指令、X-Robots-Tag 和站点地图的支持情况须分别核查，不能按同一套预期照搬。
判断顺序建议是：先用日志和入口对比确认请求走到了哪一层，再决定改 robots.txt、响应头还是重写规则；若证据指向页面内信号，就明确记录为需要模板改造的遗留项，而不是在服务器层反复试错。
