llms.txt 详解：文档网站完整指南
llms.txt 是位于您域名根目录下的纯文本文件，用于告诉 AI 代理您的网站内容以及哪些页面是各主题的权威来源。对于 ChatGPT、Claude 和 Perplexity 而言，它就像 2003 年的 robots.txt 之于 Googlebot：一个小巧、自愿采用、却影响深远的标准。
简要概述#
- 文件位置:
https://yourdomain.com/llms.txt - 格式: 带结构化标头的 Markdown
- 用途: 告诉 AI 爬虫你的网站是什么以及应在何处查找
- 配套文件:
llms-full.txt— 相同的理念，但内嵌了完整内容 - 状态: Jeremy Howard 于 2024 年底提出，Mintlify、Docsbook、Cloudflare、Anthropic、Vercel 等在 2025–2026 年间采用
它存在的原因#
AI 爬虫面临上下文窗口问题。站点地图是为索引每个页面的搜索引擎设计的；而回答问题的 AI 代理只需要实际包含答案的 5–50 个页面。llms.txt 就是针对这一需求优化的精选列表。
实施得当时，结果是：AI 助手会更频繁地引用您的页面，使用正确的 URL，并且很少会在您的域名下虚构不存在的路径。
llms.txt 与 robots.txt 与 sitemap.xml#
| robots.txt | sitemap.xml | llms.txt | |
|---|---|---|---|
| 受众 | 搜索爬虫 | 搜索爬虫 | AI 智能体和大语言模型 |
| 格式 | 纯文本指令 | XML | Markdown |
| 用途 | 允许/禁止路径 | 列出每个 URL | 整理带有上下文的规范页面 |
| 内容 | 路径规则 | URL + 最后修改时间 | URL + 描述 + 类别 |
| 配套文件 | — | — | llms-full.txt，其中包含内联内容 |
这三者可以共存。llms.txt 不会取代另外两个。
最小有效的 llms.txt#
# Acme API
> Acme is a payments API for indie developers. Built in 2024, used by 12,000 projects.
## Docs
- [Quick start](https://acme.com/docs/quick-start): publish your first charge in 60 seconds
- [Authentication](https://acme.com/docs/auth): API keys, OAuth, and per-scope tokens
- [Webhooks](https://acme.com/docs/webhooks): signature verification and retry semantics
## Optional
- [Changelog](https://acme.com/changelog): all releases since 2024
标题（# project name、## section）和 > 引用摘要并非装饰性内容——规范使用它们进行解析。
llms.txt 与 llms-full.txt#
llms.txt是索引文件——内容简短，提供外部链接llms-full.txt具有相同的结构，并内联列出每个页面的完整 Markdown 内容
AI 代理需要一个包含所有必要内容的文档时，会获取 llms-full.txt。这对于受上下文窗口限制的任务很有用，例如“使用我的文档编写代码片段”。
Docsbook 如何生成它#
当您创建 Docsbook 工作区时，会立即出现两个文件：
docsbook.io/yourorg/llms.txt— 工作区索引docsbook.io/yourorg/llms-full.txt— 完整内容
平台本身还会提供 docsbook.io/llms.txt，用于描述 Docsbook 这一产品。这是该标准的自用版本。
无需配置。无需 llms.config.js。您的文档图谱就是这两个文件的来源。有关实时示例，请参阅我们的文档。
llms.txt 中应包含什么#
顺序很重要。将价值最高的页面放在最前面。当上下文预算紧张时，AI 代理会截断内容。
一个实用的结构：
- 产品摘要 — 用一段文字概括，AI 回答“X 是什么？”时可以逐字引用
- 最常访问的页面优先 — 快速入门、定价、主要功能
- 参考资料 — API 参考、配置选项
- 可选 / 归档内容 — 更新日志、已弃用的迁移指南
常见错误#
- 列出每个页面：这是一个站点地图，而不是 llms.txt。请进行精选。目标是列出 20–80 个条目。
- 每个链接都没有描述：AI 代理会利用描述来决定要抓取哪些内容。没有描述的 URL 往往会被跳过。
- 内容过时：只要有一个链接指向 404 页面，代理就会在本次会话中停止信任你的
llms.txt。请在每次文档部署时重新生成。 - 将其隐藏在身份验证之后：它必须在根路径公开访问。
AI 代理实际上如何使用它#
2025–2026 年观察到的三种行为：
- 新域名上的首次获取 — 当代理首次访问您的网站时，它会在抓取之前尝试
/llms.txt。节省令牌，更快找到答案。 - 引用依据 — 当回答“X 对 Y 有何说明？”时，代理更倾向于使用来自格式正确的
llms.txt的 URL，而不是猜测路径。 - MCP 配套使用 — 如果您还提供 MCP 服务器，代理会使用
llms.txt进行发现，并使用 MCP 执行操作。请参阅用于文档的 MCP。
验证#
三个快速检查：
curl -s https://yourdomain.com/llms.txt | head -20- 是否以
#开头？ - 顶部附近是否有一个
>引用块？ - 所有链接是否都返回 200？
如需进行更全面的检查，请让 ChatGPT 或 Claude “获取并总结 https://yourdomain.com/llms.txt”——如果总结符合你的意图，就说明该文件发挥了作用。
相关阅读#
- AI 搜索与文档 — AI 搜索的底层工作原理
- 如何让 ChatGPT 引用文档 — 实用的引用检查清单
- 文档的 Perplexity 引用 — Perplexity 专用指南
Docsbook 会自动为每个工作区生成 llms.txt 和 llms-full.txt，无需启用任何功能，也无需支付任何费用。