数字营销

同一行 robots.txt，三种模型结果大相径庭

Leo Wang November 9, 2026

同一行 robots.txt，三种结果：Google 把训练退出和 Gemini grounding 绑在一起，微软和 OpenAI 把它们拆开了

2026 年 10 月 30 日，Google、微软、OpenAI、Anthropic 同日表态，将支持同一个 robots.txt 策略 token 来表达 AI 训练偏好。随后的报道口径几乎一致：加一行，全网退出，十分钟搞定。

读一遍 Google 自己的公告，这个"十分钟版本"就站不住了。关键的那句话是：当站点用这个共享 token 退出训练、且没有显式指定 Google-Extended 时，Google 计划把它解释为发布方已经 disallow 了 Google-Extended [1]。

再去看 Google-Extended 到底管什么。它自己的文档写着：这个 token 管的是被抓取的内容能否用于训练未来的 Gemini 模型，以及能否用于 Gemini Apps 和 Vertex AI 上 Grounding with Google Search 的 grounding [2]。

一个 token，两份职责。所以在 Google 这边，那行"训练退出"同时也是"grounding 退出"，而后果就写在同一篇博客里：显式允许 Google-Extended 的站点，才有资格出现在回答中并通过 Gemini Apps 的 grounding 获得点击 [1]。

微软在同一天发布，做了相反的选择。OpenAI 的爬虫文档在这件事之前就一直是相反的做法。如果你不先确认每家怎么映射就加上那一行，你可能在以为"我只是拒绝被训练"的时候，把自己从 Gemini 的答案里删掉了。

---

快速回答

这个共享信号是放在 robots.txt 组的 User-Agent 行里的一个策略 token。 User-Agent: __usage_ai-training 加 Disallow: /，表达对全站路径拒绝 AI 训练的偏好。没有新指令，没有新语法 [3]。
它只管训练。 IETF 词汇表把 AI Training 定义为修改生成式 AI 模型的已学习参数。grounding 那类用法在另一个类别 AI Use 里，这个 token 不绑定它 [4]。
Google 把它映射到一个同时管 grounding 的 token 上，所以一个干净的训练退出会让你失去 Gemini Apps 的 grounding 资格，除非你显式指定 Google-Extended [1][2]。
微软把训练和 grounding 拆成两个互不影响的偏好，并明确说两者都不改变 Bing 搜索结果的资格。你可以把训练设成 Disallow、grounding 设成 Allow [5]。
OpenAI 早就用两个爬虫 token 分开了：GPTBot 管训练，OAI-SearchBot 管搜索，每个设置彼此独立 [6]。

一条边界管住全部：这些都还没生效。微软从 2027 年 2 月 1 日开始遵循新偏好，2027 年 3 月 1 日之后不再把 NoArchive 和 NoCache 读作训练或 grounding 偏好 [5]。Google 的说法是"目标在 2027 年"支持 [1]。定义这个 token 的是一份个人提交的 Internet-Draft，2027 年 5 月 3 日到期 [3]；而它依赖的词汇表草案开头就写明：本文内容不代表工作组共识 [4]。

---

这个共享 token 到底是什么

它的机制故意做得很不野心，而这恰恰是它最好的地方。站点运营方写一个普通的 robots.txt 组，只不过 User-Agent 行里放的是一个策略 token 而不是爬虫名 [3]：

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

这表达的是：全站路径拒绝 AI 训练，但 /press-kit/ 下面的路径同意。草案不引入任何新指令名、不引入任何新语法——RFC 9309 的路径语言、最长匹配优先和组结构都没有改动 [3][7]。已经部署在互联网上的各种 robots.txt 解析器，会把这一组当成"写给某个我不认识的 user agent"，直接忽略。

这个设计里有四条性质决定了你该怎么用它。

它不是爬取指令。 草案原话就是这个意思。消费方可以用偏好来指导抓取，但如果你想限制抓取，仍然要为爬虫自己的 product token 写组。内容使用偏好和流量管理信号都能写在 robots.txt 里，但两者相互独立、彼此正交 [3]。

通配组不算。 消费方 MUST NOT 把 User-Agent: * 解释为匹配这个策略 token [3]。不管你现有的全局规则写了什么，它们对训练这件事什么都没表达。

沉默不等于拒绝。 如果没有任何组包含这个策略 token，就是"没有表达偏好"。词汇表把这建模成第三个取值 unknown，和 allowed、disallowed 并列，并且明确表示不对"默认该取什么值"表态 [3][4]。

合同压过它。 私下协议可以覆盖通过这个机制表达的偏好，词汇表草案对合同安排也是同样的说法 [3][4]。一份内容授权协议的效力在你这个文件之上。

---

"AI 训练"覆盖什么，又漏掉什么

这个 token 对应词汇表里的一个类别。知道另外两个是什么，才不会把这个信号读过头。

类别	标签	覆盖什么	共享 token 绑定它吗
AI Training	`train-ai`	用素材修改生成式 AI 模型的已学习参数。专门执行非生成式任务的模型的训练不在此类，即使该模型有生成能力	是
AI Use	`ai-use`	把素材作为输入喂给生成式 AI 模型，且该素材不是用户直接提供的。检索与 grounding 落在这里	否
Search	`search`	把素材用在一个应用里，该应用的主要目的是挑选素材并把用户导向素材所在位置；条件是输出含有指向原位置的直接引用或链接，且摘录用于帮助用户判断相关性。明确不包含生成摘要	否

来源：词汇表草案，该草案声明其内容不代表工作组共识 [4]。

对要据此做规划的人来说，有两个推论。

训练定义里的那条排除比看起来宽。 在这套词汇下，被用于或被提供用于分类、排序或打分的模型不是生成式 AI 模型，即使它会为自己的输出生成解释 [4]。排序模型因此落在这个 token 所表达偏好的类别之外。

Search 类别有一条会让人吃惊的覆盖规则。 允许 Search 就等于允许该应用内部的任何处理，而草案把这件事说得很直白：这包括用这些素材训练 AI 模型，前提是所得模型及其输出只被用在满足上述链接与摘录条件的方式上。草案接着写：Search 这一类覆盖落入其他任何类别的用法，包括 AI Training 和 AI Use [4]。共享 token 只实现了 train-ai，所以这条交互目前还没生效，但它是词汇表正在去的方向。

---

三家，三种耦合方式

这是值得留下来的那张表。每个格子都来自该厂商自己的文档。

厂商	训练控制	grounding / 搜索控制	两者耦合吗
Google	Google-Extended	同一个 token。 Google-Extended 同时管未来 Gemini 模型的训练和 Gemini Apps 与 Vertex AI 上 Grounding with Google Search 的 grounding [2]	耦合。一个开关管两件事。另外，Google-Extended 不影响站点在 Google 搜索中的收录，也不是那里的排名信号 [2]
微软	AI Training：robots.txt 里按站点或路径设，也支持页面级，且页面级覆盖 robots.txt	AI Grounding：只有页面级，三个取值 Allow、DisallowExtended、Disallow。没有站点级的 robots.txt grounding 偏好 [5]	独立。微软明确说训练设置不改变 grounding 设置、反之亦然，且两者都不改变 Bing 搜索结果的资格 [5]
OpenAI	GPTBot	OAI-SearchBot	独立。文档写明每个设置彼此独立，并把这个场景直接当例子给出：允许 OAI-SearchBot 以出现在搜索结果里，同时 disallow GPTBot 表示内容不应用于训练 [6]

Anthropic 被刻意留在表外。这份 Internet-Draft 的作者是 Anthropic 的 Kevin Kelley [3]，第三方报道称 Anthropic 已开始实现，但我没能读到任何描述 Anthropic 如何映射这个 token 的官方文档，所以本文对此不做任何断言。OpenAI 自己的公告页在我尝试读取时返回 HTTP 403；上表中 OpenAI 那一行来自其爬虫文档，该文档独立于公告且早于公告。

微软那个"中间档"值得注意

DisallowExtended 在上表其他任何地方都没有对应物。它把 grounding 的使用限制在微软自己运营的体验内，例如 AI Mode、AI Overview、Copilot 和 Microsoft 365，并排除微软提供给第三方的 grounding 服务，例如 Web IQ 和 Foundry 里通过 API 访问的 grounding [5]。

这正是发布方一直想要的那种区分：出现在你读者真正在用的那个助手里，但不进入批发式的 grounding 供给。微软在同一篇里给它附了警告：选择 DisallowExtended 或 Disallow，会显著降低你的内容在 AI 生成体验中的可见度 [5]。

---

为什么 Google 这边的映射最贵

把品牌真正想要的东西过一遍。大多数做跨境的公司同时想要两件事：内容不进基座模型的训练，以及在买家正在看的 AI 答案里继续出现。在微软和 OpenAI 那里这是两个开关，所以两件事可以同时要。

在 Google 这边它们是同一个开关，而公开文本没有描述任何把它们分开的办法。Google-Extended 同时管 Gemini 训练和 Gemini grounding [2]，于是只剩两个位置：

Google-Extended 被 disallow（无论是你自己写的，还是通过共享 token 走到这一步）：没有 Gemini 训练，也没有出现在回答里并通过 Gemini Apps 的 grounding 获得点击的资格 [1]。
Google-Extended 被 allow：有资格进入 grounding 回答并获得点击，同时内容也可能被用于训练未来的 Gemini 模型 [1][2]。

Google 的公告确实写了：厂商专属控制会继续与这个联合信号并存，所以站点可以用行业 token 表达一个宽泛选择，同时通过 Google-Extended 这类控制为单个厂商做定制 [1]。这就是阻止共享 token 顺手关掉 Gemini grounding 的写法：

User-Agent: __usage_ai-training
Disallow: /

User-agent: Google-Extended
Allow: /

但要清楚这买到的是什么。它保住了 Gemini 的 grounding 资格；而因为 Google-Extended 同时覆盖两种用途，它也同时把 Gemini 训练留在了允许状态。Google 目前的文本没有描述任何能表达"不要 Gemini 训练、但要 Gemini grounding"的组合。 这是公开描述里的一个真实空白，而不是对 Google 意图的结论；在任何人把这个共享 token 当成完整答案之前，这件事值得先问清楚。

有一件事 Google 的这套映射不碰：Google-Extended 不影响站点在 Google 搜索中的收录，也不被用作那里的排名信号 [2]。传统搜索的可见度不在这笔交易里。

---

真正落在日历上的日期

微软给了时间表，Google 给的是"目标"。这两者要分开对待。

日期	发生什么	来源
2026-12-15	Bing Webmaster Tools 开放 grounding 过渡偏好，只适用于截至该日仍在用 NoArchive 或 NoCache 的站点；其他站点无需过渡动作	[5]
2027-02-01	微软开始遵循新的 AI Training 与 AI Grounding 偏好，随抓取逐页生效	[5]
2027-03-01	截止日。此日之后 NoArchive 与 NoCache 不再被读作训练或 grounding 偏好	[5]
2027-05-03	定义该 token 的 Internet-Draft 到期，除非被推进	[3]
2027 年内	Google 的目标是与其他厂商一同支持这个共享控制	[1]
2027-09-30	微软的临时 grounding 偏好到期，或在页面被重抓并发现新偏好时提前失效	[5]

微软自己的两条提醒应该紧挨着这张表：它的两个偏好在没有发布适用偏好时都默认为 Allow，所以依赖 NoArchive 或 NoCache 的发布方应该走过渡步骤，不要假设旧限制会自动延续；以及发布一个设置不等于激活它，因为微软必须抓取到页面才能发现它 [5]。

---

五种会搞错的方式

把一行当成完整退出。 它表达的是对"训练"这个窄义类别的偏好，面向已经实现它的那些厂商。它不是封锁，不是爬取规则，而在 Google 那边它做的事比它说的多。

以为现有规则已经覆盖了。 User-Agent: * 组 MUST NOT 被读作匹配这个策略 token [3]。几年前就屏蔽了 AI 爬虫的站点，在这个机制下什么训练偏好都没表达过。

把偏好当成控制。 词汇表草案写明：偏好不是安全机制；该规范不保证偏好会被遵守、不处理何时该遵守或不遵守、也不处理可能让遵守成为强制的技术、法律或合同机制 [4]。

把草案当成已定标准来引用。 这个 token 在一份个人草案里，不是工作组草案。它依赖的词汇表开头就有明确声明：内容不代表工作组共识；而定义数据模型和定义类别的那两节各自又重复了一遍 [3][4]。Internet-Draft 明文规定只能作为"进行中的工作"引用。

照微软的时间表行动，却忽略微软的机制。 AI Grounding 只有页面级。没有站点级的 robots.txt grounding 偏好，所以单改一次 robots.txt 根本无法向微软表达任何 grounding 选择 [5]。

---

常见问题

如果 2027 年前只做一件事，做哪件？

去确认你在 Google 这边处在哪个位置，因为那是唯一一家把这个选择变成"必须二选一"的厂商。查一下你的 robots.txt 里有没有点到 Google-Extended。如果没有，而你之后加了共享训练 token 却没加 Google-Extended，Google 计划把它读作 Google-Extended disallow，你就失去了出现在回答里并通过 Gemini Apps 的 grounding 获得点击的资格 [1][2]。有意识地做这个决定没问题，事后才发现就不行。

退出 AI 训练会影响我的普通搜索排名吗？

就这两家直接表态的厂商而言，不会。Google 写明 Google-Extended 不影响在 Google 搜索中的收录，也不被用作那里的排名信号 [2]。微软写明其训练与 grounding 偏好不改变 Bing 搜索结果的资格，前提是满足正常的抓取与索引要求 [5]。这笔交易换的是 AI 答案，不是传统搜索。

这个共享 token 能挡住 AI 爬虫访问我的站点吗？

不能，而这是设计使然。草案写明这个策略 token 不是爬取行为的指令。消费方可以用偏好来指导抓取，例如不去取它本来只为某个被你拒绝的用途而要的资源；但如果你的目标是降低抓取流量，仍然要为爬虫自己的 product token 写组 [3]。微软补了反方向的一条：Allow 设置并不能覆盖一条屏蔽 Bingbot 抓取的 robots.txt 规则 [5]。

能对一部分栏目允许训练、另一部分拒绝吗？

能，路径粒度是这个设计的明确目标之一。因为这个 token 复用 RFC 9309 的路径匹配和最长匹配优先，Disallow: / 配 Allow: /press-kit/ 表达的就是"全站拒绝、该子树同意" [3][7]。微软还支持页面级的训练偏好，且页面级覆盖 robots.txt，通过 meta 标签或 X-Robots-Tag 响应头设置 [5]。

我们已经和其中一家签了内容协议，这个 token 会改变它吗？

大概不会，两份草案都这么说。token 草案写明私下协议可以覆盖通过这个机制表达的偏好；词汇表草案补充说，若存在明确许可某项使用的安排（例如法律协议），那些安排很可能照样适用，尽管存在机器可读的声明，除非该安排本身另有约定 [3][4]。改文件之前先读合同。

---

结论

这件事的工程部分做得好。整体复用 RFC 9309 意味着老解析器会安全降级，路径规则还是大家本来就懂的那套，也没人需要在一个本来就有体积限制的文件里重述已有的组 [3][7]。对训练偏好来说，一个跨厂商的统一信号确实比维护一串各家专属 token 要好。

出问题的是报道。"一行搞定、全网退出"在语法上成立，在后果上不成立——因为四家把同一行映射到了很不一样的内部开关上。微软和 OpenAI 把训练与 grounding、搜索分开。Google 把这个共享训练信号接进了一个同时管 Gemini grounding 的 token，并且在同一篇博客里说了：grounding 资格就是回答与点击所在的地方。

所以要定的不是"这一行怎么加"，而是这个问题：你是在拒绝成为训练数据，还是在拒绝出现在答案里？ 在其中两家你可以只选一个。在 Google，就今天公开的控制而言，你不能。

现在还都没生效。微软的日历从 2026 年 12 月 15 日开始、截止在 2027 年 3 月 1 日；Google 的目标是 2027 年；定义这个 token 的草案 2027 年 5 月 3 日到期。这段时间足够让你有意识地做决定，而不是默认滑过去。

---