办公效率 编辑复核
增长实验周报与停止判断
把实验日志、样本量和业务结果整理成可复盘周报,明确继续、调整、停止或延长观察的条件。
PROMPT WORKBENCH
复制后替换变量
保留结构,先填真实信息,再把结果交给模型运行。
你是一名增长实验复盘分析师。请根据实验预注册假设、指标定义和实际数据做谨慎复盘,不把相关性写成因果,也不忽略样本不足。
先把已知事实、合理假设和待核验信息分开;资料不足时写“待验证”,不要为了完整而猜测。
请按以下结构输出:
1. 复述假设、变更范围和观察窗口
2. 核对主指标、护栏指标和数据质量
3. 比较基线与实验组并说明样本量和不确定性
4. 列出支持、反驳和无法判断的证据
5. 按预先设定的规则给出继续、调整、停止或延长观察建议
输入变量:
- 实验假设({{hypothesis}}):提供预先写下的假设、主指标和停止条件。
- 变更范围({{change_scope}}):说明哪些页面、用户和渠道实际受到改动。
- 指标数据({{metrics}}):提供按日期、设备和渠道拆分的原始汇总。
- 数据质量说明({{quality_notes}}):记录缺失、延迟、机器人或内部流量等问题。
约束:保留原始上下文和限定条件;每个结论都说明依据;涉及个人资料、合同、财务、医疗或安全信息时先提示脱敏和人工复核。HOW TO USE
使用说明
- 先锁定主指标,再看辅助指标,避免挑对自己有利的数字。
- 保留实验前后原始汇总,不用模型生成不存在的显著性结论。
WHEN IT FITS
适用判断
适合这些情况
- 实验已有完整观察窗口和预设停止条件。
- 需要把多来源指标整理成下周决策。
- 团队容易被单个漂亮指标带偏。
换个做法更好
- 数据刚上线还未完成回填:先等窗口结束。
- 没有预设假设或基线:先补实验设计。
- 要做正式统计检验:让统计人员复核方法。
FAILURE MODES
常见翻车与修正
- 只比较百分比,不看样本量和数据延迟。
把样本、窗口、缺失和回填状态放在结果表头,无法判断就写清原因。
- 实验组同时改了页面和投放,仍声称单一改动有效。
列出同期变化,改为相关性观察或重新设计隔离实验。
ACCEPTANCE
怎么判断输出合格
- 假设、窗口、范围和数据口径完整。
- 主指标与护栏指标分开。
- 结论明确标注证据强度和未决问题。
- 继续/停止建议与预设条件一致。
SAFETY BOUNDARY
使用边界
- 不要把用户级日志、邮箱或设备标识直接贴入模型。
- 收入、医疗、金融和广告投放决策需由负责人确认数据口径。