供应商展示了上百份广告脚本测试，AI的通过率看上去很高。品牌在签年度服务前，值得再问一句：这些稿件来自多少个独立项目？如果多数只是同一份brief的长短版、语言版和改写版，文件很多，也可能只考到了少数几种任务。
ONCE建议，验收AI创意流程时，先按项目及其衍生稿分组，再决定哪些资料用于调试、哪些保留到正式验收。本文讨论的是服务能否适应未参与调试的任务，不是广告投放效果测试，也不把自动评分当成客户批准。
已有研究方法，能怎样用于今天的采购
Anthropic于2026年1月9日发布的《Demystifying evals for AI agents》区分能力测试与回归测试：前者寻找系统尚不能做好之处，后者检查已有能力是否退步，并提醒模型评分需要人工校准。这是代理系统评估经验，不是广告创意的行业认证。
scikit-learn官方《Cross-validation: evaluating estimator performance》指出，反复按测试结果调参会让测试信息渗入选择过程；对于存在分组依赖的数据，应让被检验的组不出现在对应训练组中。该文讨论机器学习评估，本文把“按组分离”的思想转为创意服务试点方法，属于ONCE的分析应用，不能据此声称某种广告流程已有实证效果。
两份资料于2026年11月1日重新核验。这是一篇有当前可靠材料支撑的常青决策文章，不将旧方法包装成当天产品更新。
先数项目，再数稿件
假设一项试点有十个虚构产品项目，每个项目各有十二份衍生稿。随机抽取稿件时，同一产品的卖点、限制、品牌口吻和修改习惯可能同时进入调试与验收。即便文件名不同，也不意味着任务足够陌生。这个假设没有执行实验，不对应ONCE客户数据。
这里的“信息渗入”不要求模型重新训练。提示词举例、检索案例库、人工修订经验，甚至供应商看过验收答案后改规则，都可能让这次验收越来越像熟题重做。
| 材料关系 | 建议分组 | 为什么 |
|---|---|---|
| 同一brief的30秒、15秒、竖版脚本 | 同一项目组 | 共享核心任务与卖点 |
| 同一母稿的中英文和修改轮次 | 与母稿同组 | 答案与错误可能互相透露 |
| 不同项目共用一套高度相似模板 | 另外标注模板关系 | 项目编号不同仍可能很接近 |
| 未参与调试的新任务 | 候选验收组 | 仍须核对其任务类型是否有代表性 |
若采购目标是同一品牌的长期改稿，按项目留出更贴近目标；若目标是服务陌生品牌或新产品品类，就要进一步按品牌、产品线或模板家族分组。分组强度取决于要验证哪种迁移能力，不是越陌生越好。
ONCE“三箱试点”：练习、调试、验收各有用途
第一箱放练习与参考资料，可以用于示例、规则整理和问题分类。第二箱放调试任务，允许比较提示词、模型和流程。第三箱放未参与这些调整的验收项目，由指定负责人保管预先确认的判定依据。
留出的是调试机会与参考答案，不是执行任务必需的事实。正式测试时，系统仍应收到完整brief、批准的产品资料和所需参考；不能故意缺页，再把猜错算成供应商失败。客户资料只在获准用途与环境中使用。
看过答案后，这批题的身份要改变
验收后可以把失败任务用于改进，但一旦据此调流程，就不应继续把同一批结果称为未见任务上的验证。记录它何时转入调试或回归用途，再用新留出任务检查下一版。
已有回归题仍很有价值：它们能发现修复一个问题时是否弄坏旧能力。只是“旧题仍通过”和“新项目也能做好”应分开报告，不能混成一个不断升高的总分。
报告要让小项目也有声音
一份较长项目可能有很多简单改写，一份较短项目却包含难处理的产品限制。只按稿件汇总，大量简单版本就可能盖住后者。ONCE建议同时列出每项目、每问题类型的结果，并保留按稿件统计的原始数量。
对事实核查任务，至少记录已确认问题的漏检、经负责人确认的误报、待裁定项和人工复核工时。创意吸引力等判断另列，不与产品事实正确性相互抵消。不要把“没有被预设答案覆盖的新发现”自动算成误报。
若只有少数项目，报告就写少数项目，不把一百份衍生稿说成一百个独立证据。有限试点可以帮助决定下一步扩大哪类任务，不能承诺通用于所有品牌、语言和品类的准确率。
签年度采购前，索要这四项交付
- 项目与衍生文件的分组清单，以及分组依据。
- 哪些任务用于调试、哪些用于验收，何时发生过角色变更。
- 本次模型、提示、检索资料与评分规则的版本；谁确认争议项。
- 按项目列出的结果与人工复核工作量，而非只有漂亮总分。
供应商无需为此提交别家客户的保密文件。可使用授权材料或充分说明局限的虚构任务；若只能提供演示，品牌应把它当演示，先采购范围有限的试点，不直接据此移除人工审核。
费用也应拆开看：整理样本与确认标准是一次性或阶段性投入；每轮运行与人工复核是持续投入。是否扩大采购，要看合格任务的实际交付成本与适用范围，不能只比较一次调用价格。
对ONCE的长期价值：保存任务关系，而不只是保存成片
项目、衍生稿、确认依据、修改记录与用途标签连接起来，才可能积累可复用的创意工作资料。它能让团队知道哪些经验曾用于调试，哪些判断还需要新项目验证。这是迈向ONCE OS的一项服务设计建议，不代表ONCE已经部署了相应系统或取得性能收益。
下一次试点的具体动作：先画出稿件与项目的对应关系，留出完整项目，再开始改提示词。如需先检验AI评审会不会发现已知问题，可阅读AI创意评审的已知错误样卷方法；本文进一步处理那些样卷怎样使用，才不让调试成绩冒充独立验收。
来源与适用范围
Anthropic：《Demystifying evals for AI agents》，2026年1月9日；scikit-learn官方文档：《Cross-validation: evaluating estimator performance》，重点为测试集反复调整与分组数据部分，页面未显示明确发布日期。均于2026年11月1日核验。中文未添加未经中国大陆网络实测的海外外链。
项目分组、“三箱试点”和采购交付清单为ONCE原创应用建议；没有训练模型、运行对照试验或报告真实客户成果。判断的是指定工作流在指定任务上的表现，不是目标市场消费者的真实反应。
