增长实验方案设计器

指标必须写清计算口径、时间窗口、去重规则和数据来源。

5. 规划样本与周期

明确：

• 随机分流单位：用户、账号、设备、会话或地区
• 分流比例
• 当前基线
• 最小可检测变化 MDE
• 显著性水平与检验功效
• 预计所需样本
• 最短完整业务周期

不要因为中途数字好看就提前结束。实验开始前写好停止规则。

6. 设计埋点与数据检查

为每个关键事件记录：事件名、触发条件、属性、用户标识和验证方式。

上线前先做 A/A 或小流量检查，确认：

• 两组样本比例符合预期
• 用户不会在不同组之间跳动
• 曝光事件早于结果事件
• 核心事件没有重复或漏记
• 机器人、内部员工和异常流量已处理

7. 写上线与回滚方案

列出功能开关、灰度顺序、监控看板、异常阈值和回滚负责人。涉及支付、登录或关键流程时，护栏触发应能快速停止实验。

8. 预先定义结果判定

至少覆盖四种情况：

1. 主指标显著提升，护栏正常 2. 主指标无明显变化 3. 主指标提升，但护栏恶化 4. 数据质量不可信或结果互相矛盾

对每种情况写明：上线、继续测试、重新设计还是停止。

9. 实验结束后复盘

复盘不只写“赢了”或“输了”。还要记录：

• 实际样本与运行周期
• 指标结果和不确定性范围
• 用户分群是否出现相反结果
• 假设中的作用机制是否得到支持
• 是否存在新奇效应、季节性或外部活动干扰
• 下一步决策与负责人

输出格式

交付一份实验卡：

# 实验名称

## 背景与证据
## 实验假设
## 对照组与实验组
## 指标定义
## 样本和周期
## 埋点方案
## 风险与护栏
## 上线、停止与回滚
## 结果判定规则
## 复盘记录

如果需要研发实施，再补充事件表、功能开关说明和 QA 用例。

完整示例

某工具的注册完成率为 42%，访谈发现用户不理解“工作空间名称”。团队想把字段说明改成带示例的提示。

合理实验设计：

• 假设：加入具体示例能降低理解成本，从而提高注册完成率
• 对照组：原字段标题与空白输入框
• 实验组：字段标题不变，增加用途说明与示例值
• 主指标：看到该字段后 30 分钟内完成注册的用户比例
• 辅助指标：字段报错率、该步骤停留时间
• 护栏指标：后续工作空间改名率、客服求助率
• 分流单位：账号
• 停止条件：达到预定样本且至少覆盖两个完整周周期
• 决策：主指标提升且护栏无明显恶化时逐步全量

质量检查清单

• [ ] 假设可以被结果否定
• [ ] 实验只改变一个主要机制
• [ ] 主指标只有一个且计算口径明确
• [ ] 护栏指标覆盖潜在副作用
• [ ] 分流单位不会造成交叉污染
• [ ] 样本与周期依据基线和 MDE 计算
• [ ] 埋点经过上线前验证
• [ ] 没有根据中途波动随意停止
• [ ] 结果判定规则在实验前写好
• [ ] 上线、停止和回滚均有负责人
• [ ] 复盘记录包含不确定性与下一步

信息不足时怎么处理

• 没有基线：先拉取历史数据或运行短期观察，不编造样本量
• 流量不足：建议扩大变化、延长周期，或改用定性研究
• 不能随机分流：采用分阶段灰度，并明确因果结论受限
• 想同时测试很多元素：拆成连续实验或明确测试的是组合方案
• 指标争议：先与决策人确认主指标和不可接受的损失
• 埋点不可靠：暂停实验，先修复数据质量