robotstxt 是什么?robots.txt 基础写法与常见错误解析

📍 WDQWDWQD987AAAAA:216.73.217.109
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7d73ce32b326.html
📄

robotstxt 是网站与搜索引擎爬虫之间的第一道沟通协议,命名源自站点根目录下的 robots.txt 文件。它的核心作用是告诉爬虫哪些目录可以抓取、哪些应当回避,从而保护隐私页面、节省服务器资源,并引导搜索引擎更好地收录内容。

robotstxt 的基本结构

robotstxt 文件必须放在网站根目录,文件名全小写,且只能有一条生效。基本语法由User-agent、Disallow、Allow 和 Sitemap 等指令组成。User-agent 指定规则适用的爬虫,Disallow 声明禁止抓取的路径,Allow 用于在禁止目录中开白名单,Sitemap 则帮助爬虫发现站点地图。

robotstxt 常见错误

很多站点在配置 robotstxt 时容易犯以下错误:误用 Disallow: / 导致整站被屏蔽;忘记 robots.txt 区分大小写;在文件里写注释时使用错误符号;把 sitemap 写成小写而爬虫无法识别。此外,robots.txt 并不能阻止页面被索引,它只限制抓取,若需彻底移除页面,应配合 noindex 元标签或 HTTP 头使用。

robotstxt 的实用建议

  1. 上线前用搜索引擎官方工具测试 robots.txt 是否可访问
  2. 避免在 Disallow 中屏蔽 CSS 和 JS 文件,以免影响渲染收录
  3. 定期检查 robotstxt 规则,防止误封重要栏目
  4. 将 sitemap 地址写入 robotstxt,提升发现效率

正确理解 robotstxt 的语义和限制,是网站技术 SEO 的基础工作。通过合理配置 robots.txt,既能让爬虫高效抓取核心内容,又能避免敏感路径暴露,为站点长期稳定运营提供保障。

图1 图2

nginx