品牌官网不该在“允许所有 AI”与“封锁所有 AI”之间二选一。搜索系统发现页面、回答引擎引用事实、购物代理执行动作、模型把内容用于训练，给品牌带来的价值和风险完全不同。正确做法，是把一个总开关拆成四条访问规则。
这个判断在 2026 年 9 月 30 日出现了一个值得关注的新信号。Cloudflare 发布 Pay Per Use 测试版：AI 公司可以为某一种实际用途出价，内容所有者决定是否接受，使用方报告每次使用，Cloudflare 再完成计费和结算。它与 2025 年推出的 Pay Per Crawl 不同：后者为访问付费，前者为访问之后发生的使用付费。
这条公告只能证明 Cloudflare 已经提供这一测试机制，不能证明 AI 内容许可已经成为行业通行模式。对大多数以销售为目的的品牌官网来说，向爬虫收费甚至可能不是优先目标。真正有结构性价值的变化是：行业正在把“抓取过”与“产生了什么用途”拆开。品牌也应该用同样的方法管理官网。
已证实的变化，和不能越过的事实边界
四个官方来源共同指向同一件事，但各自能证明的范围不同。
- Cloudflare 的《Pay Per Use: when AI uses your work, you should get paid》（2026 年 9 月 30 日）显示，其测试版把访问、索引、回答引用、研究报告摘录和购物推荐等用途分开；具体付费用途由 AI 公司定义，内容方决定是否加入，使用记录由买方上报。
- IAB Tech Lab 在 2026 年 5 月 27 日发布 AI Bot Management Guidance，建议内容所有者根据商业目标选择分级管理方式，而不是把全部非人流量当成同一类。
- Google 的官方爬虫文档把 Google-Extended 与 Google Search 分开：网站可控制内容是否用于 Gemini 相关训练与 grounding，而这一设置不影响 Google Search 收录，也不是搜索排名信号。
- OpenAI 的当前爬虫文档也区分 OAI-SearchBot、GPTBot 与由用户动作触发的 ChatGPT-User；允许搜索爬虫并不等于必须允许训练爬虫。
这些事实足以说明“按目的分开管理”已经可以落地，但不足以说明所有爬虫都会遵守声明，也不足以说明付费市场一定会形成。Cloudflare 自己也明确提醒，robots.txt 与内容信号表达的是偏好，不是阻止抓取的技术措施。
ONCE D-A-A-T：先问用途，再决定权限
ONCE 建议品牌把 AI 访问拆成 D-A-A-T 四条通道。它不是四个供应商名单，而是四种商业目的。
D — Discover：被发现
目标是让搜索引擎和答案系统知道页面存在、理解基本主题，并把用户带向官网。对公开产品页、服务页、规格页和帮助中心，这通常是最值得开放的通道。
验收不只是“爬虫返回 200”。还要检查标题、产品名称、地区、发布时间、更新时间、图片替代文本和结构化数据是否一致。如果页面本身含糊，放开访问只会更快地传播含糊信息。
A — Answer：进入答案
这一层允许系统把页面事实用于实时回答、grounding、摘录或引用。它比传统搜索更接近用户决策，也更可能减少回站点击。
品牌应优先开放可核验、可更新、不会脱离上下文造成误导的内容，例如材质、尺寸、适配范围、保修条件、交付地区和使用限制。对方法论全文、未公开新品、客户数据、完整创意资产或高度依赖上下文的比较，默认不应因为“希望被 AI 看见”就全部开放。
A — Act：允许行动
这一层不是读页面，而是查库存、获取报价、创建购物车、预约、提交表单或调用接口。它直接触及价格、个人信息、库存和品牌承诺。
开放条件至少包括：可验证的代理身份、明确的只读与写入权限、价格和库存的有效时间、关键动作前的人类确认、完整日志，以及可撤销机制。我们在《别急着让 AI 替客户下单：品牌开放购物代理的四级权限表》中讨论过这一层的授权顺序；本篇的重点是把它放回整个官网访问策略中，而不是把“能读页面”误当成“能代表用户行动”。
T — Train：用于训练
训练用途的回报最不容易直接归因，影响期限却可能最长。允许搜索或实时回答，不等于必须允许模型训练；这已经能从 Google 与 OpenAI 的独立控制方式中得到验证。
品牌应单独评估训练用途：内容是否拥有完整权利链，是否包含客户或创作者限制，是否会削弱独家方法和素材库的价值，是否存在许可或合作条件。这个决策应由市场、法务、技术与内容负责人共同确认，而不是由网站模板默认继承。
不同页面，不应该拿到同一张通行证
真正可执行的策略不是写一份抽象政策，而是给页面分层。
公开产品页与服务页：默认开放 Discover；事实清晰且更新机制可靠时开放 Answer；Act 只通过受控接口或明确确认流程；Train 由品牌内容策略另行决定。
案例摘要与行业观点：可开放 Discover 和经过筛选的 Answer，让客户理解能力与方法；原始素材、完整制作文件、客户未公开信息和可复用的专有模板不应公开暴露，更不能只靠 robots.txt 保护。
价格、库存与区域可售性：可以被发现和回答，但必须带更新时间、币种、地区与失效条件。任何写入动作都应使用受验证的接口，并在订单或询价提交前让用户确认。
客户文件、投标材料、源文件与内部资产库：四条通道默认全部关闭，使用登录、权限、网络隔离和服务端控制保护。robots.txt 不是安全边界。
用净访问价值，而不是“开或关”做决策
品牌可以用一个不依赖虚构行业平均的公式比较页面级策略：
净访问价值 = 合格发现价值 + 被引用或推荐价值 + 可归因转化价值 + 客服节省 − 内容替代损失 − 基础设施成本 − 权利与合规风险 − 维护成本
每一项都应使用品牌自己的数据或明确假设：
- 合格发现价值看目标市场曝光、品牌查询和有效落地页访问，不看爬取次数本身。
- 引用或推荐价值看品牌事实是否被正确表达、是否带来源、是否进入高意向问题。
- 转化价值只计算能追踪到询价、试用、购物车或订单的结果。
- 内容替代损失评估用户不再回站、竞争者复用方法、素材被脱离语境使用的可能性。
- 基础设施成本包括带宽、日志、Bot 管理、WAF 与异常流量处理。
- 权利风险覆盖第三方图片、创作者、客户资料、地域政策与合同限制。
- 维护成本包括规则更新、供应商变化、误拦截修复和跨团队复核。
如果某类公开页面的发现、引用与转化价值明显高于风险，优先开放 Discover 和 Answer；如果页面价值来自独家内容本身，而不是销售转化，才更有理由评估许可、收费或限制。对多数品牌官网，“被正确找到并被正确引用”往往比“向每次抓取收费”更重要。
两周内建立第一版策略
第一至三天，导出最近 30 天的非人流量日志，按已验证身份、User-Agent、IP 范围、访问路径、频率和响应码整理。不要只凭名称信任爬虫。
第四至六天，把页面分成公开销售内容、可引用知识、动态交易信息和受限资产四类，并给每类标注 D-A-A-T 默认权限。把未知项标成待确认，不要强行给出“允许”或“禁止”。
第七至九天，配置 robots.txt、平台专用 token 或内容信号；对真正敏感的路径使用身份验证、WAF、速率限制或服务端授权。声明和技术控制要分开记录。
第十至十二天，用测试请求检查允许的搜索爬虫是否能读取关键页面，训练爬虫是否按预期受限，动态页面是否带有更新时间，受限路径是否在没有凭证时真正不可访问。
第十三至十四天，建立基线：哪些页面被抓取、哪些品牌问题出现引用、哪些访问带来有效会话或询价、哪些规则造成误拦截。每月复核一次供应商文档与日志变化，并保留回滚方案。
最后的判断
Cloudflare 的 Pay Per Use 不是品牌立即向所有 AI 收费的信号，而是一个更重要的提醒：同一份内容在被发现、被引用、影响推荐和用于训练时，产生的是不同价值交换。
品牌官网下一步不该是“封不封 AI”，而是回答四个更精确的问题：谁可以发现，谁可以回答，谁可以行动，谁可以训练。把这四条规则写清楚，公开内容才有机会扩大销售价值，敏感资产也不会因为一个宽泛的默认设置被一起交出去。
本文是营销与运营决策框架，不构成法律意见。涉及版权、合同、隐私或地区监管时，应由合格法务人员结合具体内容与市场复核。
