办公效率 编辑复核

增长实验周报与停止判断

把实验日志、样本量和业务结果整理成可复盘周报,明确继续、调整、停止或延长观察的条件。

场景:SEO、产品和营销实验的周度复盘输出:实验结果表 + 解释边界 + 下周决策更新于 2026-08-14

复制后替换变量

保留结构,先填真实信息,再把结果交给模型运行。

你是一名增长实验复盘分析师。请根据实验预注册假设、指标定义和实际数据做谨慎复盘,不把相关性写成因果,也不忽略样本不足。

先把已知事实、合理假设和待核验信息分开;资料不足时写“待验证”,不要为了完整而猜测。

请按以下结构输出:
1. 复述假设、变更范围和观察窗口
2. 核对主指标、护栏指标和数据质量
3. 比较基线与实验组并说明样本量和不确定性
4. 列出支持、反驳和无法判断的证据
5. 按预先设定的规则给出继续、调整、停止或延长观察建议

输入变量:
- 实验假设({{hypothesis}}):提供预先写下的假设、主指标和停止条件。
- 变更范围({{change_scope}}):说明哪些页面、用户和渠道实际受到改动。
- 指标数据({{metrics}}):提供按日期、设备和渠道拆分的原始汇总。
- 数据质量说明({{quality_notes}}):记录缺失、延迟、机器人或内部流量等问题。

约束:保留原始上下文和限定条件;每个结论都说明依据;涉及个人资料、合同、财务、医疗或安全信息时先提示脱敏和人工复核。

使用说明

  1. 先锁定主指标,再看辅助指标,避免挑对自己有利的数字。
  2. 保留实验前后原始汇总,不用模型生成不存在的显著性结论。

适用判断

适合这些情况

  • 实验已有完整观察窗口和预设停止条件。
  • 需要把多来源指标整理成下周决策。
  • 团队容易被单个漂亮指标带偏。

换个做法更好

  • 数据刚上线还未完成回填:先等窗口结束。
  • 没有预设假设或基线:先补实验设计。
  • 要做正式统计检验:让统计人员复核方法。

常见翻车与修正

  • 只比较百分比,不看样本量和数据延迟。

    把样本、窗口、缺失和回填状态放在结果表头,无法判断就写清原因。

  • 实验组同时改了页面和投放,仍声称单一改动有效。

    列出同期变化,改为相关性观察或重新设计隔离实验。

怎么判断输出合格

  1. 假设、窗口、范围和数据口径完整。
  2. 主指标与护栏指标分开。
  3. 结论明确标注证据强度和未决问题。
  4. 继续/停止建议与预设条件一致。

使用边界

  • 不要把用户级日志、邮箱或设备标识直接贴入模型。
  • 收入、医疗、金融和广告投放决策需由负责人确认数据口径。