Docsbook
概览

llms.txt

llms.txt 是一个面向模型而非浏览器编写的网站纯文本索引:包含标题、一行摘要,以及值得阅读的页面链接列表。Docsbook 会自动为每个工作区生成 llms.txtllms-full.txt ——无需配置、无需构建步骤,也无需手动保持同步。

本页面准确说明了 Docsbook 会将哪些内容写入这些文件,随后——由于本页面讨论的是诚实的机器可读声明——说明 llms.txt 的证据实际有多充分。后半部分的简短结论是:发布它,成本为零,不要将任何结果归因于它。

Docsbook 在哪里提供这些文件?#

文件 URL 包含内容
平台索引 https://docsbook.io/llms.txt Docsbook 本身:产品是什么、产品方案、MCP 服务器及其技能目录
平台全文 https://docsbook.io/llms-full.txt Docsbook 自有文档页面的正文
工作区索引 https://<your-workspace>/llms.txt 该工作区发布的每个 Markdown 页面,以链接形式列出
工作区全文 https://<your-workspace>/llms-full.txt 上述每个页面的完整 Markdown 内容

这四个文件都以 text/plain; charset=utf-8 的形式提供,无需身份验证。发布在根域名路径上的工作区——包括展示演示,因为演示就是一个工作区——会在该路径上获得同样的一对文件,并限定为 URL 中指定的单个项目,因此,爬虫抓取一个产品的索引时,绝不会得到另一个产品的页面。

每个页面都会列在其规范 URL 下。页面规范 URL 位于根域名上的工作区,绝不会在其镜像子域名上宣传,因为该主机会进行重定向,并在 robots.txt 中返回 Disallow: /。向爬虫提供一份告知其不要抓取的 URL 列表,比不提供列表更糟糕。

工作区 llms.txt 中究竟包含什么?#

Markdown,按以下顺序排列:一个包含工作区或产品名称的 H1,一段概述文档内容及其所在位置的引用块,每个已连接仓库对应一个 H2,以及每个 H2 下为每个已发布 Markdown 页面列出的 [page title](canonical URL) 项。然后是一个 关于此工作区 部分——这一部分是为代理而非爬虫编写的:

## About this workspace
 
- Hosted by: [Docsbook](https://docsbook.io) — AI-native documentation platform
- MCP server (manage this workspace via AI agent): https://docsbook.io/api/mcp/server
- Skills catalog (AI agent instructions for docs tasks): https://docsbook.io/skills
- Last generated: 2026-09-05T09:14:22.104Z
 
> To connect an AI agent to this workspace: `claude mcp add --transport http docsbook https://docsbook.io/api/mcp/server`

有三种行为值得了解:

  • H1 命名的是产品,而不是账户。 作用域限定为单个仓库的文件使用该工作区的显示名称作为标题;只有账户范围的文件才使用账户登录名作为标题。当被问及某个产品是什么时,H1 通常是助手引用的第一项内容,而账户登录名通常不是正确答案。
  • 空工作区仍会返回有效文件 ——包括 H1、一行说明目前尚未索引任何公开文档的文字,以及一个返回主页的链接。空索引是一个事实;404 则是一个谜。
  • 获取失败的页面会被跳过,而不会导致请求失败。 llms-full.txt 是逐页组装的;单个无法访问的文件会记录错误并将该页面排除,而不是导致整个请求失败。

llms-full.txt 中,每个页面都会置于自己的 H2 下,并带有一行 Source:,其中包含其规范 URL,同时会移除其 YAML frontmatter。源代码行使助手能够引用页面中产生某句话的来源,而不是引用整个内容包。

llms.txt 还是 llms-full.txt——代理需要哪一个?#

llms.txt       — compact index: page titles and links, one line each
llms-full.txt  — the full Markdown body of every page, concatenated

当代理需要一份地图并会按需获取页面时,请使用索引;当代理希望通过一次请求获取整个知识库,并且上下文窗口足够容纳这些内容时,请使用完整文件。对于介于两者之间的情况,还有第三种方式:任何单个页面都可以作为原始 Markdown 在 /api/md/<owner>/<repo>/<page path> 获取,而不带页面路径的相同路由则会返回仓库中的所有 Markdown 文件拼接内容。这就是页面菜单中以 Markdown 查看选项所对应的路由。

llms.txt 与 sitemap.xml 有何不同?#

它们回答不同的问题,彼此都无法替代。

sitemap.xml llms.txt
面向对象 搜索引擎爬虫 首次读取网站的模型和代理
格式 XML,URL 及元数据 Markdown:H1、摘要、带标题的链接列表
是否承载含义 否——一个 URL 和一个时间戳 是——项目摘要和每个链接的标题
标准制定者 sitemaps.org,由搜索引擎支持 llmstxt.org,一项提案
在生产环境中使用者 搜索引擎,有明确证据 见下文

Docsbook 会同时生成这两者,而 audit_geo 会检查这两者。

它多久刷新一次?#

Docsbook 会根据您已发布的页面按需重新生成文件,并将结果缓存一小时Cache-Control: public, s-maxage=3600, stale-while-revalidate=86400)。您推送到 GitHub 的页面会在下一次获取后的一小时内显示。无需构建步骤,无需提交文件,也没有配额限制——代理可以随时获取它。

我可以更改代理所看到的哪些内容?#

只有三点:

  1. 为文件取一个好的名称。 llms.txt 中的链接文本来自文件路径,而不是页面的前置元数据 titleapi-rate-limits.md 会变成“API 速率限制”;仓库根目录中的 README.md 会变成“概览”;page2.md 会变成“Page2”,模型不会选择它。
  2. 发布页面。 只有默认分支上已提交的 Markdown 才会被列出。草稿和未推送的编辑内容都不在这两个文件中。
  3. 将第一段写成答案。 llms-full.txt 会原样携带正文,因此打开页面时最先出现的内容就是助手最先读取的内容。

llms.txt 的证据有多强?#

很弱,Docsbook 不会对此另加粉饰。以下是正反两方面的完整情况。

问题 实际已得到证实的情况 来源
是否存在规范? 存在——这是 Jeremy Howard 提出的一项方案,于 2024 年 9 月 3 日发布,此后经过修订;该页面目前显示为“/llms.txt 文件,v2”,修改于 2026 年 8 月 10 日。只有 H1 是必需的:“一个包含项目或网站名称的 H1。这是唯一必需的部分” llmstxt.org
该规范中是否包含 llms-full.txt 不包含。根据当前页面进行检查:其中一次也没有出现该字符串。这是一项社区约定,Docsbook 遵循它是因为代理会请求该内容 llmstxt.org
Google 是否使用它? 不使用。John Mueller 于 2025 年 6 月 17 日表示:“供参考,目前没有任何 AI 系统使用 llms.txt。”Google 自己的 AI 功能文档则表示:“你不需要创建新的机器可读文件、AI 文本文件或标记,即可出现在这些功能中” Search Engine RoundtableGoogle AI 功能
OpenAI、Anthropic 和 Perplexity 会读取它吗? 目前无法证明是或否。它们会发布自己的文件——developers.openai.com/llms.txtdocs.perplexity.ai/llms.txt 都会回答 200 text/plain——但发布文件并不等于使用文件,三家供应商的爬虫文档中都没有说明会获取你的文件 OpenAI 机器人Perplexity 机器人
实践中有人请求它吗? Ahrefs 对 137,000 个域名进行测量后发现:28% 发布了有效的 llms.txt,而其中“97% 在 2026 年 5 月没有收到任何请求” Ahrefs,2026 年 6 月 15 日更新
拥有它会提高引用量吗? 没有已发表且经过复现的研究证明这一点

该文件仍能为你带来什么。你将 URL 交给的代理——无论是在提示词、MCP 客户端还是支持流程中——都可以通过一次获取获得一份完整且最新的文档地图,而无需进行爬取。你的 MCP 服务器和技能目录也可以从中被发现。它支持差异比较,因此可以低成本盘点实际已发布的内容。而且它不会给你带来任何成本,因为 Docsbook 会生成它。

它无法为你带来什么。任何关于助手流量的结论。如果你想知道助手是否读取了你的文档,请测量会留下痕迹的事项:来自助手用户代理的爬虫访问,以及来自助手域名的引荐流量。这两者都能在你的分析中看到;URL 上存在一个文件本身并不能证明任何事情。

限制与未决问题#

  • 链接文本会忽略你的前置元数据 title 前置元数据中标题为“速率限制和配额”的页面,如果文件名如此,列出的名称会是“Api Rate Limits”。请重命名文件,或接受派生标题。
  • llms-full.txt没有大小上限。 大型工作区会生成一个可能超出代理上下文窗口的文件;它既不支持分页,也不会截断内容。当页面超过几十页时,优先使用llms.txt并按页面获取。
  • Docsbook 不提供规范中的.md页面变体。 该提案要求“在原始页面的同一 URL 上提供这些页面的简洁 Markdown 版本……并追加.md”。而 Docsbook 在/api/md/…提供原始 Markdown,这些内容相同但地址不同,因此并不是遵循规范的客户端会探测的地址。
  • 一小时缓存不可配置,文件内容也不可配置。这是有意为之——不会存在另一份机器可读的文档副本而逐渐产生不同步问题——但这意味着你无法整理代理所看到的内容。
  • 尚存疑问:真正重要的助手是否会读取其中任何内容? 供应商的机器人文档描述了抓取页面的爬虫;其中没有任何内容描述抓取llms.txt。在供应商发布相关使用说明,或有人公布与上文 Ahrefs 测量结果相矛盾的服务器日志证据之前,应将该文件视为无需成本的整理工作,而不是一种渠道。
  • GEO — 页面级信号:TL;DR 块、可见日期、作者署名。
  • 引用信号 — 决定检索到的段落是否会被引用的写作规则。
  • SEO — 站点地图、规范 URL、noindex
  • MCP 服务器 — 面向既能读取又能写入的代理的机器接口。
  • 事实来源 — 面向在磁盘上拥有你的代码库的代理的本地文档图。

Updated

此页面对您有帮助吗?