2026/11/18
0
企悦互联robots.txt 这个文件,作用是告诉搜索引擎哪些页面可以抓、哪些不要抓。写对了,抓取效率提升、收录干净;写错了,一个字符就可能让整站消失。这篇把企业站最常见的错误逐条盘出来,你花十分钟对照检查,能避开大部分坑。
先搞清楚它能做什么、不能做什么
robots.txt 的合法指令只有几个:
User-agent:指定规则针对谁,* 表示所有搜索引擎
Disallow:不允许抓取的路径
Allow:允许抓取的路径,优先级高于 Disallow
Sitemap:声明 sitemap 的位置
关键的一点:robots.txt 不能用来保护机密。 它是公开文件,任何人都能访问,密码写在里面等于公开。很多企业把后台路径写进 Disallow 以为这样就安全了——这只能减少被收录的风险,防不住直接访问。真正的防护是服务器级的身份验证。
企业站的标准写法
给一份可以直接用的基础模板:
`
User-agent: *
Disallow: /admin/
Disallow: /member/
Disallow: /cart/
Disallow: /search?
Disallow: /*?*sort=
Allow: /
Sitemap: https://www.example.com/sitemap.xml
`
解释一下每一行的用途:
/admin/、/member/、/cart/ 是后台、会员中心、购物车这类不需要被搜索的页面
/search? 屏蔽站内搜索结果页,这类页面带参数且无价值
/*?*sort= 屏蔽带排序参数的变体,避免同一页面被无限收录
Allow: / 是显式放行全部,虽然 Disallow 已经隐含了这个意思,写出来更清晰
最后一行声明 sitemap 位置,这条经常被漏掉
六个最常见的设置错误
错误一:Disallow 写成了 /(整站屏蔽)
最严重的错误,整个网站直接消失。常见成因是把 Disallow: / 写成了 Disallow: 后面多了个空格,或者本意是屏蔽某目录结果写错了。
自查方法:写完立刻打开 https://你的域名/robots.txt,用浏览器的"查看源代码"确认内容无误,然后去站长平台看抓取状态是否正常。
错误二:屏蔽了整个 css 和 js 目录
有人为了"防止样式被抄袭",把 /static/、/css/、/js/、/images/ 全屏蔽了。这是很常见的误解。
后果很严重:搜索引擎渲染页面需要获取 CSS 和 JavaScript,屏蔽之后它看到的是一个没有样式的裸页面,无法判断页面结构和内容质量,页面评估会大幅下降。现在的核心页面指标(CLS、INP)也依赖真实渲染,屏蔽资源等于自废武功。
结论:不要屏蔽静态资源目录。
错误三:用 robots.txt 屏蔽参数页面,误伤了正常内容
Disallow: /*?* 这种一刀切的规则看着很爽,但会把带参数的正常页面全部屏蔽掉。
常见的误伤对象:分页列表页 ?page=2、带筛选的产品列表、按参数排序的分类页。这些页面往往是长尾词的承载体,屏蔽掉等于放弃一批搜索结果。
更精准的做法是只屏蔽真正无价值的那部分,比如只写 Disallow: /*?*ref=(推广参数)、Disallow: /*?*sort=(排序参数)。
错误四:屏蔽了后台路径却以为自己安全了
前面说过,robots.txt 不是安全机制。它挡不住任何人直接访问 /admin/。
正确的防护是三层:服务器层面做 IP 白名单或 VPN 访问、后台启用双因素认证、后台路径改成不易猜的组合。robots.txt 的 Disallow 只能算其中最外层的辅助措施,作用是别让后台页面出现在搜索结果里被人翻到。
错误五:写完没提交,也没验证
很多站 robots.txt 放上去了,但从未告知搜索引擎。
需要在百度资源平台的"数据管理-站点属性"里提交,或者用抓取诊断功能验证蜘蛛能否正常访问。Google 则在 Search Console 的"站点地图"里提交。
验证方法很简单:输入具体的一个 URL 做抓取诊断,看返回状态。如果返回"抓取被 robots.txt 拦截",说明规则写错了。
错误六:多个规则块之间产生冲突
写多个 User-agent 块时,规则是从上往下匹配、先匹配先生效。如果通用规则写了 Disallow 而专用规则块又写了 Allow,实际行为可能和你的预期相反。
判断方法很简单:如果某个路径不该被抓却没被挡住,基本就是块之间的优先级问题。把规则合并到一个 User-agent: * 块里,用 Allow 明确放行,是最不容易出错的做法。
修改 robots.txt 的操作纪律
robots.txt 虽然改动简单,但影响面大,建议遵守三条纪律:
第一,改之前先备份一份。 改错了能立刻还原,不用现写。
第二,大改动分两次。 一次是放宽(减少屏蔽范围),一次是收紧。每次改完观察一周的抓取和收录数据,确认方向对再动第二次。
第三,改完记录原因。 在文件里加一行注释说明每条规则为什么加、什么时候加的。半年后你自己都会忘了当时为什么屏蔽某个目录。
一个改不了的认知:robots.txt 不是万能钥匙
最后强调一个常见误解:robots.txt 阻止抓取,不等于页面一定没被收录。
页面在被收录之前有多种来源:外部链接、搜索结果里的链接、sitemap。蜘蛛从别的页面点到你的页面,照样会抓。所以被 robots.txt 屏蔽的页面可能还留在索引里。
要彻底清理,得配合两件事:在百度搜索结果里提交"死链提交"、或者如果页面已经删除并有 301 指向新地址,用 301 把权重和索引一起迁移。
一份十分钟自查清单
打开你的 robots.txt,逐条对照:
有没有 Disallow: / 这种整站屏蔽
有没有屏蔽 css、js、images 目录
参数屏蔽规则会不会误伤分页和筛选页
有没有声明 Sitemap 路径,地址对不对
最后一条 Disallow 后面是不是多了个空格
有没有在百度资源平台提交过并验证过
六条里有任意一条命中,改起来只要十分钟,但可能救回一批已经掉的排名。
还需要知道的三个细节
Allow 的匹配规则更优先。 在路径相同的情况下,Allow 会覆盖 Disallow,这条规则可以用来"在整体屏蔽的目录里开一个口子"。但要注意匹配的是完整路径前缀,不是精确匹配——写 Allow: /public/ 会放行 /public/ 下面所有内容。
Disallow 的空值含义。 Disallow: 后面什么都不写,等于不限制任何路径,这是允许全部。如果本意是"禁止抓整个站",正确写法是 Disallow: /。这跟很多程序员的直觉相反,是高频出错点。
robots.txt 的缓存有延迟。 改动之后不是立即生效,搜索引擎会缓存这个文件,通常几天到几周。所以改完之后不要每天焦虑地测,稍微等一等。另外 robots.txt 本身支持设置缓存有效期,服务器端可以配置。
一份更完整的企业站配置示例
如果你的站有这些页面,配置可以这样写:
`
User-agent: *
Disallow: /admin/
Disallow: /member/
Disallow: /cart/
Disallow: /search
Disallow: /?sort=
Allow: /
User-agent: BadBot
Disallow: /
Sitemap: https://www.example.com/sitemap.xml
`
注意 /search 这里不加问号,用的是精确前缀匹配,会连 /search 和 /searchxxx 一起屏蔽;如果只想屏蔽带参数的结果页,写成 /search? 更精确。两种写法各有用处,看你想拦到什么程度。
配置写完之后,正确的验证顺序是:先通读一遍确认语法正确 → 在抓取诊断里测试首页和两个内页 → 一周后看抓取频次有没有变化。三步都正常,这一环就不用再管了。
企悦互联在承接企业官网 SEO 优化时,robots.txt 的审查是技术体检的必检项,会逐条核对每一条规则的实际影响范围,并输出"该保留、该修改、该删除"的对照清单,而不是笼统地说"已检查"。



