robots.txt该怎么写?企业站常见设置错误盘点
2026/11/180企悦互联

robots.txt该怎么写?企业站常见设置错误盘点

robots.txt 这个文件,作用是告诉搜索引擎哪些页面可以抓、哪些不要抓。写对了,抓取效率提升、收录干净;写错了,一个字符就可能让整站消失。这篇把企业站最常见的错误逐条盘出来,你花十分钟对照检查,能避开大部分坑。

先搞清楚它能做什么、不能做什么

robots.txt 的合法指令只有几个:

User-agent:指定规则针对谁,* 表示所有搜索引擎

Disallow:不允许抓取的路径

Allow:允许抓取的路径,优先级高于 Disallow

Sitemap:声明 sitemap 的位置

关键的一点:robots.txt 不能用来保护机密。 它是公开文件,任何人都能访问,密码写在里面等于公开。很多企业把后台路径写进 Disallow 以为这样就安全了——这只能减少被收录的风险,防不住直接访问。真正的防护是服务器级的身份验证。

企业站的标准写法

给一份可以直接用的基础模板:

`

User-agent: *

Disallow: /admin/

Disallow: /member/

Disallow: /cart/

Disallow: /search?

Disallow: /*?*sort=

Allow: /

Sitemap: https://www.example.com/sitemap.xml

`

解释一下每一行的用途:

/admin/、/member/、/cart/ 是后台、会员中心、购物车这类不需要被搜索的页面

/search? 屏蔽站内搜索结果页,这类页面带参数且无价值

/*?*sort= 屏蔽带排序参数的变体,避免同一页面被无限收录

Allow: / 是显式放行全部,虽然 Disallow 已经隐含了这个意思,写出来更清晰

最后一行声明 sitemap 位置,这条经常被漏掉

六个最常见的设置错误

错误一:Disallow 写成了 /(整站屏蔽)

最严重的错误,整个网站直接消失。常见成因是把 Disallow: / 写成了 Disallow: 后面多了个空格,或者本意是屏蔽某目录结果写错了。

自查方法:写完立刻打开 https://你的域名/robots.txt,用浏览器的"查看源代码"确认内容无误,然后去站长平台看抓取状态是否正常。

错误二:屏蔽了整个 css 和 js 目录

有人为了"防止样式被抄袭",把 /static/、/css/、/js/、/images/ 全屏蔽了。这是很常见的误解。

后果很严重:搜索引擎渲染页面需要获取 CSS 和 JavaScript,屏蔽之后它看到的是一个没有样式的裸页面,无法判断页面结构和内容质量,页面评估会大幅下降。现在的核心页面指标(CLS、INP)也依赖真实渲染,屏蔽资源等于自废武功。

结论:不要屏蔽静态资源目录。

错误三:用 robots.txt 屏蔽参数页面,误伤了正常内容

Disallow: /*?* 这种一刀切的规则看着很爽,但会把带参数的正常页面全部屏蔽掉。

常见的误伤对象:分页列表页 ?page=2、带筛选的产品列表、按参数排序的分类页。这些页面往往是长尾词的承载体,屏蔽掉等于放弃一批搜索结果。

更精准的做法是只屏蔽真正无价值的那部分,比如只写 Disallow: /*?*ref=(推广参数)、Disallow: /*?*sort=(排序参数)。

错误四:屏蔽了后台路径却以为自己安全了

前面说过,robots.txt 不是安全机制。它挡不住任何人直接访问 /admin/。

正确的防护是三层:服务器层面做 IP 白名单或 VPN 访问、后台启用双因素认证、后台路径改成不易猜的组合。robots.txt 的 Disallow 只能算其中最外层的辅助措施,作用是别让后台页面出现在搜索结果里被人翻到。

错误五:写完没提交,也没验证

很多站 robots.txt 放上去了,但从未告知搜索引擎。

需要在百度资源平台的"数据管理-站点属性"里提交,或者用抓取诊断功能验证蜘蛛能否正常访问。Google 则在 Search Console 的"站点地图"里提交。

验证方法很简单:输入具体的一个 URL 做抓取诊断,看返回状态。如果返回"抓取被 robots.txt 拦截",说明规则写错了。

错误六:多个规则块之间产生冲突

写多个 User-agent 块时,规则是从上往下匹配、先匹配先生效。如果通用规则写了 Disallow 而专用规则块又写了 Allow,实际行为可能和你的预期相反。

判断方法很简单:如果某个路径不该被抓却没被挡住,基本就是块之间的优先级问题。把规则合并到一个 User-agent: * 块里,用 Allow 明确放行,是最不容易出错的做法。

修改 robots.txt 的操作纪律

robots.txt 虽然改动简单,但影响面大,建议遵守三条纪律:

第一,改之前先备份一份。 改错了能立刻还原,不用现写。

第二,大改动分两次。 一次是放宽(减少屏蔽范围),一次是收紧。每次改完观察一周的抓取和收录数据,确认方向对再动第二次。

第三,改完记录原因。 在文件里加一行注释说明每条规则为什么加、什么时候加的。半年后你自己都会忘了当时为什么屏蔽某个目录。

一个改不了的认知:robots.txt 不是万能钥匙

最后强调一个常见误解:robots.txt 阻止抓取,不等于页面一定没被收录。

页面在被收录之前有多种来源:外部链接、搜索结果里的链接、sitemap。蜘蛛从别的页面点到你的页面,照样会抓。所以被 robots.txt 屏蔽的页面可能还留在索引里。

要彻底清理,得配合两件事:在百度搜索结果里提交"死链提交"、或者如果页面已经删除并有 301 指向新地址,用 301 把权重和索引一起迁移。

一份十分钟自查清单

打开你的 robots.txt,逐条对照:

有没有 Disallow: / 这种整站屏蔽

有没有屏蔽 css、js、images 目录

参数屏蔽规则会不会误伤分页和筛选页

有没有声明 Sitemap 路径,地址对不对

最后一条 Disallow 后面是不是多了个空格

有没有在百度资源平台提交过并验证过

六条里有任意一条命中,改起来只要十分钟,但可能救回一批已经掉的排名。

还需要知道的三个细节

Allow 的匹配规则更优先。 在路径相同的情况下,Allow 会覆盖 Disallow,这条规则可以用来"在整体屏蔽的目录里开一个口子"。但要注意匹配的是完整路径前缀,不是精确匹配——写 Allow: /public/ 会放行 /public/ 下面所有内容。

Disallow 的空值含义。 Disallow: 后面什么都不写,等于不限制任何路径,这是允许全部。如果本意是"禁止抓整个站",正确写法是 Disallow: /。这跟很多程序员的直觉相反,是高频出错点。

robots.txt 的缓存有延迟。 改动之后不是立即生效,搜索引擎会缓存这个文件,通常几天到几周。所以改完之后不要每天焦虑地测,稍微等一等。另外 robots.txt 本身支持设置缓存有效期,服务器端可以配置。

一份更完整的企业站配置示例

如果你的站有这些页面,配置可以这样写:

`

User-agent: *

Disallow: /admin/

Disallow: /member/

Disallow: /cart/

Disallow: /search

Disallow: /?sort=

Allow: /

User-agent: BadBot

Disallow: /

Sitemap: https://www.example.com/sitemap.xml

`

注意 /search 这里不加问号,用的是精确前缀匹配,会连 /search 和 /searchxxx 一起屏蔽;如果只想屏蔽带参数的结果页,写成 /search? 更精确。两种写法各有用处,看你想拦到什么程度。

配置写完之后,正确的验证顺序是:先通读一遍确认语法正确 → 在抓取诊断里测试首页和两个内页 → 一周后看抓取频次有没有变化。三步都正常,这一环就不用再管了。

企悦互联在承接企业官网 SEO 优化时,robots.txt 的审查是技术体检的必检项,会逐条核对每一条规则的实际影响范围,并输出"该保留、该修改、该删除"的对照清单,而不是笼统地说"已检查"。

京ICP备2023019821号-1|京公网安备:132110203753号-1|Copyright © 2026 企悦汇鑫(北京)科技有限公司 版权所有

联系电话
13240245558

免费获取定制化解决方案及报价
微信咨询
免费获取定制化解决方案及报价
我们将在第一时间和您联系,请保持通讯畅通