ONCE 社交媒体短视频营销研究 · 社交媒体短视频营销研究 08/10
研究文章 / 文献比较与创作决策分析。研究截止：2026 年 10 月 5 日。
一条短视频带来 100 次下单，另一条带来 70 次。前者就是赢家吗？
还不能这样判断。前者可能触达了更多已经搜过品牌的人，后者可能被推给更陌生的人；100 次下单里，有些人即使没看到视频也会购买；还有些人看完视频去了搜索、门店或经销商，最后被另一个渠道记走。若两个版本连“谁有机会看到”都不一样，直接比较转化率，等于把创意、受众选择、媒体分发和原本就存在的需求压成一个总分。
上面的数字只是说明问题的假设，不是 ONCE 的客户数据。
本文的中心论点是： 短视频效果测量最常见的错误，不是少看了一个指标，而是用一层指标回答另一层的因果问题。 观看时长可以诊断注意，却不能独自证明理解；点击可以描述一条被记录的路径，却不能独自证明新增购买；平台 ROAS 可以帮助日常运营，却不能自动回答“如果没有这次投放，会少发生多少结果”。我们把这种错误称为“反事实错配”。
一个总分，回答不了五种问题
短视频从被展示到产生行动，至少经过曝光、注意、理解、品牌和行动五层。它们不是一条必然顺序，也不该共用一个万能指标。
| 结果层 | 能观察什么 | 仍缺什么反事实 |
|---|---|---|
| 曝光 | 展示、覆盖、频次、被分配到的受众 | 同一批人没有这次分发时会看到什么 |
| 注意 | 停留、播放、观看时长、视线与跳出 | 同样曝光条件下，另一种开场是否更能留住目标受众 |
| 理解 | 卖点复述、任务识别、误解率 | 不同信息组织是否真正改变了产品理解 |
| 品牌 | 品牌归属、辅助认知、无提示回忆 | 没有看到这条视频时，品牌记忆会怎样变化 |
| 行动 | 搜索、访问、留资、到店、购买 | 这些行动中有多少原本就会发生 |
本系列第 01 篇已经说明，推荐分发改变了谁进入观察样本。第 07 篇进一步讨论了短视频影响如何迁移到站外搜索与购买。因此，“从曝光到行动”更像一组相互影响的观测窗口，而不是平台后台里一条没有缺口的漏斗。
这也解释了为什么完播率和销量可能同时上升，却仍不能证明前者造成后者。两者可能都受更精准的投放、促销强度、季节需求或老客比例影响。指标相关可以提出机制假设；要回答因果问题，还要说明处理、对照、时间窗和比较对象。
归因在分账，增量在估计“没有投放的世界”
归因和增量都重要，但工作不同。
归因把已经发生的转化分配给可见触点。最后点击、首次触点或多触点模型，都在回答“这条被记录的路径怎样记账”。增量则比较两个潜在结果：同一目标人群在有投放与无投放时，结果相差多少。前者主要服务报表、优化与渠道协作；后者服务预算是否创造了新增结果的判断。
Brett R. Gordon、Robert Moakler 与 Florian Zettelmeyer 在 Marketing Science 2023 年正式发表的研究，用 Facebook 的 663 次大型随机实验检验非实验方法。即使拥有 5000 多个用户与实验特征，双重/去偏机器学习和分层倾向得分匹配仍不能可靠恢复随机实验结果。论文摘要报告：随机实验的上、中、下漏斗中位提升分别为 29%、18% 和 5%；双重机器学习给出的对应中位提升却是 83%、58% 和 24%。这不是说观察数据毫无价值，而是说明复杂建模也无法保证消除平台分发形成的选择偏差。研究数据来自 Facebook 广告实验，并不自动代表今天所有短视频平台；作者与 Meta/Facebook 的任职关系也在论文中披露。
2026 年 5 月形成、7 月上线 SSRN 的工作论文 Attributed, But Not Incremental: Cannibalization-Corrected Attribution for Large-Scale Advertising，则尝试用增量实验作为“因果锚点”，校准日常归因信号。它由多位 ByteDance 研究者参与，目前是尚未同行评审的短篇工作论文，我们只读取了公开摘要，不能把部署描述当成独立验证。它的启发很有限也很实用：归因不必被丢弃，但应定期接受实验校准，而不是把自己升级成因果事实。
最后点击尤其容易拿走过多功劳。一个人先看短视频、再主动搜索、最后点品牌词广告购买，报表可能把订单全部给搜索广告。反过来，平台内没有点击也不代表视频没有影响。测量成熟度不在于选一套更复杂的分账规则，而在于知道分账规则何时不能回答新增性。
推荐系统让“同一个实验”也可能不再相同
随机分组很重要，但“随机”两个字不会自动修好所有设计。
第一，分配不等于实际曝光。被随机分到可看广告的组，只代表获得曝光机会；推荐、竞价、频控和用户选择仍会决定谁真正看到。若只比较实际看过与没看过的人，选择偏差又会回来。更稳妥的主要估计通常先比较“被分到可曝光组”和“被分到不可曝光组”的结果，也就是意向处理效应；若要估计实际曝光者的效应，需要额外假设与方法。
第二，推荐会学习。Jennifer Brennan 等人的 WWW 2025 论文研究动态推荐实验中的“共生偏差”：两个算法若共享由彼此产生的训练数据，一个组的行为会改变另一个算法的学习环境。论文比较集群随机、数据分流和用户—语料共同分流等设计，并用全球推荐系统的大型 A/B 测试数据验证这种偏差确实会影响处理效应估计。这个结果研究的是推荐算法实验，不是品牌短视频广告实验；但它提醒品牌，平台自动优化中的版本 A 与版本 B，未必始终处在两个静止、互不影响的世界。
第三，用户会互相影响。分享、私信、跟随创作者再搜索，都可能把处理组的影响带进对照组。Xu Min 等人在 2026 年 2 月提交的快手预印本中，用社交互动图进行集群随机，试图减少分享策略实验中的跨组溢出；论文报告了大规模线上实验，但目前仍是未同行评审的预印本，不能当作所有平台的通用方案。它真正支持的是一个设计问题：如果内容会沿关系传播，用户级随机可能低估完整社会效应，因为“未投放组”并不一定真的未接触。
第四，结果可能发生在平台外。Yitian (Sky) Liang 等人在 Marketing Science 2025 年发表的 ByteDance 大规模随机现场实验中，处理组才有机会看到某汽车品牌的短视频广告，研究还把平台用户与品牌留资记录匹配。正式摘要报告，大部分效果发生在 ByteDance 之外，暴露用户在站外转化的可能性是站内的八倍以上。这个结果来自单一汽车广告环境，转化是留资而不是购车；它不能成为其他行业的固定倍数。它说明的是：缺失站外结果，会改变成本与定向判断，而不是“短视频一定有八倍站外价值”。
留出、地域实验与准实验，估计的不是同一件事
没有一种设计可以在所有预算、平台和数据条件下胜出。
用户级随机留出适合平台或广告系统能够稳定阻止对照组接触、并能记录同一结果窗的情形。它能较直接地估计被分配广告机会的平均增量，但仍要处理未实际曝光、跨设备、分享污染和事件匹配缺失。自然内容通常无法像付费广告那样建立真正的不可曝光组。
地域实验在无法做用户级匹配、需要合并线上线下结果或同时观察多个渠道时更实用。Jon Vaver 与 Jim Koehler 2011 年的 Google 研究把互不重叠地域随机分到处理与对照。2026 年 10 月核验的 Google Ads 中文帮助页也明确把跨地区移动造成的“污染”列为风险：人在处理地区看到广告、却在对照地区转化，会压低组间差异。地域实验还需要足够多且可比的地区、稳定的前测关系和能够承受的预算；只有两个差异巨大的城市，不能因为画了一条分界线就变成可靠实验。
准实验用于真正随机不可行时，例如自然停投、预算突然变化、渠道上线或政策变化。它依赖更强的假设：若没有干预，处理对象与合成对照会沿着可预测的趋势前进；同一时间没有另一件事只影响处理组。2026 年 9 月的预印本 Pseudo-Incrementality Testing 尝试从自然发生的投放中断识别处理时点，再用结构时间序列构造反事实。我们只读取了摘要，论文尚未同行评审；它提供的是方法候选，不是把每次预算变化都自动变成自然实验的许可。
选择设计之前，应先写一句完整的估计对象： 对哪些符合条件的人，在什么时间窗，把哪一种投放机会与哪一种不投放状态比较，结果是什么？ 如果这句话写不清，方法名称越高级，解释空间往往越大。
先偷看结果，再挑赢家，显著性也会失真
短视频素材多，最容易同时测试十几个开场、字幕、人物和优惠，再每天查看后台，看到某一版领先就提前停掉。这样做会不断增加偶然赢家出现的机会。
Ramesh Johari、Pete Koomen、Leonid Pekelis 与 David Walsh 的 Operations Research 论文指出，传统 p 值和置信区间在使用者根据持续监控结果自行决定样本量时会失效；论文提出始终有效的 p 值与置信区间，并讨论序贯和多重检验控制。它不是要求每个品牌使用同一套统计工具，而是要求先承认停止规则也是实验的一部分。
实务上可先预先指定一个主要业务结果，例如 14 天新增合格留资，再把观看、理解、品牌归属和搜索作为机制或辅助指标。若同时比较很多版本，要控制多重比较或把第一轮明确定位为探索，再用新样本确认。不能在几十个指标里挑一个上升的，就把它改写成原本的目标。
“信号—路径—增量”：三本账不要合成一本
ONCE 根据上述研究提出一套有限的三层测量框架。它是证据组织和决策工具，不是已经验证的普适模型。
信号账记录曝光、停留、理解、品牌归属与反感等，用来定位创意机制哪里发生了变化。它回答“画面、信息和受众之间发生了什么”。
路径账记录点击、搜索、落地页、留资、到店与购买，以及各系统怎样分配功劳。它回答“我们看见了哪条决策路径”。
增量账用随机留出、地域实验或条件充分的准实验，估计没有这次投放时不会发生的结果。它回答“这次投入新增了什么”。
三本账可以互相解释，但不能互相冒充。信号变好而增量没变，可能说明创意改善没有跨过商业阈值，也可能是实验功效不足；路径转化变多而增量不变，可能是渠道重新分账或抢走自然需求；增量存在而平台归因很少，可能是站外和延迟结果没有被记录。真正的诊断从这些竞争解释开始，而不是从一个漂亮总分结束。
用一支公开案例演示怎样写测量计划
ONCE 的小鹏 G6 限时首付社媒短视频案例页描述了“促销信息—车身展示—座舱细节—道路场景—行动提示”的内容顺序。我们只读取了案例页文字与可见页面信息，没有观看可核查的完整成片，也没有公开的预算、受众或转化数据。因此它不能证明该顺序提升了销售。
但它可以用来示范如何把创意问题拆成不同测量任务。
- 若问题是促销信息是否被看懂，主要结果可以是正确复述优惠条件，并把误解率作为护栏；完播率只是辅助信号。
- 若问题是人物与座舱段落是否增加车型理解，可在同等曝光条件下比较两种信息顺序，保持优惠、时长、落地页和投放人群尽量一致。
- 若问题是整个活动是否带来新增预约，需要用户级留出、地域对照或其他可辩护的反事实，不能用“看到后点击预约”的人直接对比没点击的人。
- 若问题是短视频、搜索和门店怎样协同，既要记录路径，也要把新增预约或到店设为增量结果；最后触点不能独占功劳。
版本 A 对版本 B 的随机创意测试，只能回答“在当前投放条件下哪种版本更有效”；活动对不投放的增量实验，回答的是“投放本身创造了多少新增结果”。两者经常被叫作 A/B 测试，却不是同一个问题。
一份最小、可失败的测量约定
在素材上线前，品牌可以把以下七项写进同一页：
- 目标人群：谁有资格进入实验，是否包含老客、员工或已留资用户。
- 处理与对照：比较的是版本 A 与 B、投放与不投放，还是高低预算。
- 主要结果：只选一个决定预算的主要结果，并写明观察时间窗。
- 机制指标与护栏：观看、理解、品牌归属、投诉或退订分别承担什么角色。
- 随机单位与污染路径：按用户、地域、账号还是社群分组；转发、跨城与跨设备会怎样串组。
- 停止与多重比较规则：何时看结果、测试多少版本、探索结果怎样再确认。
- 缺失数据与失败解释：站外购买、线下到店、匹配失败和小样本如何限制结论。
零结果也可能有价值：它可能排除一个足够大的商业效果，也可能只是区间太宽、实验受污染或指标离业务太远。报告应同时给出估计值、区间、样本和异常，而不是把“不显著”写成“确定无效”。
结论：效果测量不是给视频颁一个总分
短视频效果不是从播放量一路自动流向购买的单线故事。曝光决定谁进入样本，注意决定是否继续加工，理解和品牌归属决定留下什么，搜索与点击记录部分路径，购买和留资才接近业务结果；即使到了最后，仍需要一个可信反事实判断新增性。
因此，先问指标属于哪一本账，再问它缺少哪个反事实。归因可以持续运行，实验可以定期校准；创意测试可以筛版本，增量测试可以判断预算；地域和准实验可以补足无法用户级随机的场景，但必须公开假设。测量系统的成熟，不是把更多曲线叠在同一块看板，而是让每个数字只回答它有资格回答的问题。
如果你正在规划一组需要比较开场、产品动作、字幕和行动引导的社媒素材，可以先查看 ONCE 的短视频拍摄与多版本制作方案。项目开始时即可把每个版本的传播任务、共用镜头、主要结果和不可同时改变的变量写进 Brief；这帮助后续测试形成可解释的素材结构，但不等于 ONCE 提供平台级归因系统或保证投放结果。
来源与阅读范围
- Brett R. Gordon、Robert Moakler、Florian Zettelmeyer，Close Enough? A Large-Scale Exploration of Non-Experimental Approaches to Advertising Measurement，Marketing Science 42(4)，2023，DOI: 10.1287/mksc.2022.1413。读取正式页面摘要、方法范围、结果与利益关系披露。
- Yitian (Sky) Liang、Xinlei Chen、Shengnan Han、Jinglong Zhang、Yubo Chen，Is the Money Spent on Short-Form Video Social Platforms Worth It?，Marketing Science 44(5)，2025，DOI: 10.1287/mksc.2023.0575。读取正式记录、摘要与公开方法材料；只按汽车广告与留资结果解释。
- Jennifer Brennan 等，Reducing Symbiosis Bias through Better A/B Tests of Recommendation Algorithms，WWW 2025。读取 Google Research 正式记录与摘要；其估计对象是推荐算法，不直接等同品牌广告。
- Xu Min 等，Towards Reliable Social A/B Testing: Spillover-Contained Clustering with Robust Post-Experiment Analysis，arXiv:2602.08569，2026 年 2 月 9 日提交。读取公开全文；属于未同行评审预印本。
- Donghui Li 等，Attributed, But Not Incremental: Cannibalization-Corrected Attribution for Large-Scale Advertising，SSRN 6992318，2026。只读取公开摘要；未同行评审。
- Jon Vaver、Jim Koehler，Measuring Ad Effectiveness Using Geo Experiments，Google，2011；Ramesh Johari 等，Always Valid Inference: Continuous Monitoring of A/B Tests，Operations Research 70(3)，2022。分别用于地域实验与序贯/多重检验方法边界。
- ONCE 短视频解决方案、公开案例与本系列已发布文章于 2026 年 10 月 5 日重新核验。案例仅作内容与测量设计分析，不主张未公开的效果。
