Creative testing · Single variable
A/B 测试，一次只改一件事
画面、字幕、节奏、受众和入口一起变，结果再漂亮也很难解释。先写 Hypothesis，再固定 Control、Metric 与 Observation Window；Variant 只改变观众能感知的一项。
TEST CONTRACT
BEFORE EXPORT- HYPOTHESIS
- 这项变化会影响什么决定
- VARIABLE
- 本轮只改哪一件事
- METRIC
- 用什么口径观察
- WINDOW
- 何时开始与停止
先说结论
一轮 A/B Test 只验证一个创意假设。先保留可比较的 Control，再制作只改变单一变量的 Variant；样本、入口或观察窗口不一致时，结论保持“未判定”。
先写一张测试合同
这六格在拍摄和剪辑前确认。它不是平台操作说明，而是让创意、投放与数据团队谈论同一件事。
- 01 / DECISION
测试要改变哪个决定
是决定开头镜头、产品证明、人物状态，还是决定下一轮是否继续生产同类素材。没有决策入口，就先不剪版本。
- 02 / HYPOTHESIS
写成可被否定的假设
例如“更早出现产品会改变首段观看表现”。不要写“这个版本更高级”这类无法对应 Metric 的判断。
- 03 / CONTROL
保留一条稳定基线
Control 的画面、字幕、音乐、入口、受众和发布时间按既定口径记录。它不是“旧版”，而是本轮比较的参照。
- 04 / VARIANT
只替换单一变量
Variant 只改开头、证据镜头、文案或节奏中的一项。需要同时改多项时，拆成下一轮，不把原因混在一起。
- 05 / METRIC
指标先写定义
明确指标名称、计算口径、数据来源和最低可读样本。不同团队口中的“观看”或“转化”不能默认相同。
- 06 / WINDOW
观察窗口与边界同定
写清开始、停止、异常流量、其他活动和 Attribution Boundary。环境变了，先标记干扰，再决定是否继续。
Control 与 Variant只改一项
下面是一份拍摄与剪辑对照方式。具体指标、样本和平台设置由项目团队按当前投放环境确认。
CONTROL A
BASELINE- 首镜头
- 人物先进入场景，产品在第二个动作出现
- 字幕
- 沿用同一卖点、字号和出现时机
- 音乐与节奏
- 沿用同一轨道、时长与剪辑点
- 发布条件
- 同一入口、受众口径与观察窗口
VARIANT B
ONE CHANGE- 首镜头
- 只改为产品先出现，后续镜头顺序不变
- 字幕
- 与 Control 完全相同
- 音乐与节奏
- 与 Control 完全相同
- 发布条件
- 与 Control 使用同一比较口径
停止与复盘，也要先约定
A/B Test 不是等到出现喜欢的答案才结束。它只帮助减少下一步的不确定，不单独证明长期因果。
- STOP 01
条件漂移
入口、受众、活动或数据口径明显变化，先暂停比较并记录时间，不把两段环境强行合并。
- STOP 02
样本不足
未达到项目预先设定的可读门槛，就写“未判定”。不要用少量波动替创意下结论。
- REVIEW 03
进入下一轮
记录保留的版本、失败假设和下一项单一变量。素材是否重拍，由新问题决定，不由输赢情绪决定。
素材测试延伸阅读
6 篇 ONCE 文章，补充片场变量、素材疲劳、测试假设、首镜头、指标和案例帧复盘。
素材测试常见问题
A/B 测试可以同时换画面和文案吗？
如果目标是解释原因，不建议。两项一起变化只能说明组合结果不同，无法判断是哪一项造成差异；可以把组合测试留给探索阶段，并明确不做单变量归因。
Control 一定是表现最好的旧素材吗？
不一定。Control 的作用是提供稳定、可记录的比较基线。它可以是当前正式版本，也可以是项目约定的标准版本。
一次测试结果能证明长期效果吗？
不能单独证明。结果只在当时样本、入口、时间与归因边界内有效；进入其他人群、媒体或活动期需要重新验证。
把 Control、Variant 和你真正想验证的问题发来。
ONCE 会把 Hypothesis、Single Variable、镜头差异、版本命名与交付表整理到同一轮素材生产里。
