LLMs.txt：AI时代的站点地图
你可能已经看到各种开发工具最近在其文档中添加了 LLMs.txt 支持。这项提议的 Web 标准正在迅速获得采用，但它到底是什么？为什么重要？
虽然 robots.txt 和 sitemap.xml 是为搜索引擎设计的，但 LLMs.txt 针对推理引擎进行了优化。它以 LLM 可以轻松理解的格式向他们提供有关网站的信息。
那么，LLMs.txt 是如何在一夜之间从提案变成行业趋势的？
1、LLMs.txt的浪潮
11 月 14 日，Mintlify 在其文档平台中添加了 LLMs.txt 支持。他们一举使数千个开发工具的文档对 LLM 友好，例如 Anthropic 和 Cursor。
Anthropic 和其他公司迅速在 X 上发布了有关他们的 LLMs.txt 支持的信息。更多 Mintlify 托管的文档加入进来，为提议的标准创造了一波可见性浪潮。
这种势头引发了新的社区网站和工具。@ifox 创建了 directory.llmstxt.cloud 来索引 LLM 友好的技术文档。@screenfluent 紧随其后，推出了 llmstxt.directory。
创建 dotenvx 的 Mot 为 dotenvx 的文档站点构建并分享了一个开源生成器工具。Firecrawl 的 Eric Ciarla 创建了一个工具，可以抓取你的网站并为你创建文件。
2、谁创建了 LLMs.txt？为什么？
Answer.AI 的联合创始人 Jeremy Howard 提出了 LLMs.txt 来解决特定的技术挑战。
AI 系统只能处理有限的上下文窗口，这使得它们很难理解大型文档站点。传统的 SEO 技术针对搜索爬虫而不是推理引擎进行了优化，因此无法解决这一限制。
当 AI 系统尝试直接处理 HTML 页面时，它们会陷入导航元素、JavaScript、CSS 和其他非必要信息的泥潭，从而减少可用于实际内容的空间。
LLMs.txt 通过以 AI 能够理解的格式向其提供所需的准确信息来解决此问题。
3、LLMs.txt 文件到底是什么？
LLMs.txt 是一个具有特定结构的 markdown 文件。该规范定义了两个不同的文件：
/llms.txt：文档导航的简化视图，可帮助 AI 系统快速了解你网站的结构/llms-full.txt：一个包含所有文档的综合文件
3.1 /llms.txt
该文件必须以 H1 项目名称开头，后跟引用摘要。后续部分使用 H2 标题来组织文档链接。 “Optional”部分专门标记了可选的不太重要的资源。
# Project Name
> Brief project summary
Additional context and important notes
## Core Documentation
- [Quick Start](url): Description of the resource
- [API Reference](url): API documentation details
## Optional
- [Additional Resources](url): Supplementary information3.2 /llms-full.txt
虽然 /llms.txt 提供导航和结构，但 /llms-full.txt 包含 markdown 中的完整文档内容。
# AI Review (Beta)
AI Review is a feature that allows you to review your recent changes in your codebase to catch any potential bugs.
<Frame>
<img src="https://mintlify.s3-us-west-1.amazonaws.com/cursor/images/advanced/review.png" alt="AI Review" />
</Frame>
You can click into individual review items to see the full context in the editor, and chat with the AI to get more information.
### Custom Review Instructions
In order for AI Review to work in your favor, you can provide custom instructions for the AI to focus on. For example,
if you want the AI to focus on performance-related issues, you could put:
```
focus on the performance of my code
```
This way, AI Review will focus on the performance of your code when scanning through your changes.
### Review Options
Currently, you have a several options to choose from to review:
* `Review Working State`
* This will review your uncommitted changes.
* `Review Diff with Main Branch`
* This will review the diff between your current working state and the main branch.
* `Review Last Commit`
* This will review the last commit you made.以上代码片段来自 Cursor 的 /llms-full.txt 文件。请参阅 Cursor 文档中的完整文件。
4、LLMs.txt vs sitemap.xml vs robots.txt
它与现有的 Web 标准（如 sitemap.xml 和 robots.txt）的用途完全不同。
/sitemap.xml 列出了所有可索引页面，但对内容处理没有帮助。AI 系统仍然需要解析复杂的 HTML 并处理额外的信息，从而使上下文窗口变得混乱。
/robots.txt 建议搜索引擎爬虫访问，但对内容理解也没有帮助。
/llms.txt 解决了与 AI 相关的挑战。它有助于克服上下文窗口限制，删除不必要的标记和脚本，并以针对 AI 处理优化的结构呈现内容。
5、如何将 LLMs.txt 与 AI 系统结合使用
与主动抓取网络的搜索引擎不同，当前的 LLM 不会自动发现和索引 LLMs.txt 文件。
你必须手动将文件内容提供给你的 AI 系统。这可以通过粘贴链接、将文件内容直接复制到提示中或使用 AI 工具的文件上传功能来完成。
5.1 ChatGPT
首先，转到该文档或 /llms-full.txt URL。将内容或 URL 复制到你的聊天中。询问有关你想要完成的具体问题。
5.2 Claude
Claude 还不能浏览网页，因此请将该文档的 /llms-full.txt 文件的内容复制到剪贴板中。或者，你可以将其保存为 .txt 文件并上传。现在，你可以放心地提出任何问题，因为其中包含完整、最新的上下文。
5.3 Cursor
Cursor 允许你添加和索引第三方文档，并将其用作聊天中的上下文。你可以通过键入 @Docs > 添加新文档来执行此操作。将出现一个模式，你可以在此添加指向 /llms-full.txt 文件的链接。你将能够像任何其他文档一样将其用作上下文。
要了解有关此功能的更多信息，请参阅 Cursor 的 @Docs 功能。
6、如何生成 LLMs.txt 文件
你可以使用多种不同的工具来创建自己的文件：
- Mintlify：自动为托管文档生成 /llms.txt 和 /llms-full.txt
- dotenv llmstxt：dotenvx 的创建者 Mot 开发的工具，可使用你网站的 sitemap.xml 生成 llms.txt。
- Firecrawl llmstxt：Firecrawl 创始人 Eric Ciarla 开发的另一款工具，可使用 Firecrawl 抓取你的网站以生成 llms.txt 文件。
7、LLMs.txt 的下一步是什么？
LLMs.txt 代表着向 AI 优先文档的转变。
正如 SEO 对于搜索可见性至关重要一样，拥有 AI 可读的内容对于开发工具和文档也至关重要。
随着越来越多的网站采用此文件，我们可能会看到新的工具和最佳实践出现，使内容可供人类和 AI 助手访问。
目前，LLMs.txt 提供了一个实用的解决方案，帮助人工智能系统更好地理解和利用网络内容，特别是技术文档和 API。
原文链接：LLMs.txt Explained
汇智网翻译整理，转载请标明出处