更新于 2026-10-11。llms.txt 是 Markdown 文档格式提案,不是访问控制,也不保证所有代理读取网站。提案在 2026 年 8 月更新为 v2。
文件的用途
用它提供简洁概览和有价值文档的阅读路径,按提案放在根目录或相关文档路径。具体客户端是否读取取决于其实现,发布文件不会强制模型使用它。
| 资源 | 用途 |
|---|---|
| llms.txt | 文档概览和精选阅读链接 |
| robots.txt | 爬虫指令,不是私密数据的授权机制 |
| sitemap.xml | 用于发现的首选可索引 URL |
| WebMCP 工具 | 由支持的浏览器页面公开的操作 |
从公开的小型示例开始
把以下示例域名改成真实可访问页面,不列凭证、内部后台或私密报告。
# Example Site
> Public documentation for our website and supported actions.
## Guides
- [Getting started](https://example.com/docs): Introduction and limitations.
- [Search help](https://example.com/help/search): How to search public content.
## Optional
- [Changelog](https://example.com/changelog): Historical updates.
保持描述准确、概览简洁。若提供页面 Markdown 版本,还应验证与公开内容一致。额外全文文件属于文档设计选择,并非所有代理的必备条件。
部署与检查
静态站点可以从公开目录提供文件,框架或托管平台也可以返回等价文本。检查实际 URL、状态和正文,不能只看源码目录里存在文件。
curl --fail --location https://example.com/llms.txt
逐个检查链接,再让兼容客户端回答具体文档问题,比数文件行数更有用。产品说明和引用发生变化时同步更新。
与 WebMCP 和搜索的关系
文档概览不会注册可执行工具,那是WebMCP 实现的另一项能力。普通界面仍需保持可用。
Google 的 AI 搜索说明不要求新 AI 文本文件或特殊标记。llms.txt 可访问性不证明收录、排名或流量改善。
扫描器检测什么
在 2026-10-05 规则下,B2 检查是否能取得去掉首尾空白后超过 50 个字符的 llms.txt 或 llms-full.txt 内容,不完整解析格式,也不能证明客户端使用它。评分指南解释这一产品规则。
运行免费检测查看页面信号,然后实际检查链接和客户端读取行为,不把通过等同于所有 AI 都能发现网站。
