增长实验方案设计器

增长实验方案设计器

这个 Skill 能做什么

把“要不要试一下”变成一份团队可以直接执行的实验卡。适用于网页、产品流程、定价表达、广告素材、邮件和运营活动等场景。

本 Skill 会帮助完成：

• 判断问题是否适合做对照实验
• 把观察转成可证伪的假设
• 定义对照组、实验组和唯一主要变量
• 选择主指标、辅助指标与护栏指标
• 规划分流单位、样本量、周期和埋点
• 提前写好结果判定和停止条件
• 输出上线检查与复盘模板

什么时候使用

出现以下需求时使用：

• “两个标题哪个更有效”
• “新注册流程是否真的提高激活率”
• “想给定价页做 A/B Test”
• “为什么上次实验有提升却不能上线”
• “帮我建立一套增长实验流程”

如果流量极低、变更无法隔离、目标只是发现用户问题，优先采用访谈、可用性测试或小范围灰度，不要强行做统计实验。

开始前需要什么

尽量收集：

1. 当前业务目标与基线数据
2. 用户在哪一步遇到问题
3. 拟测试的变化及其作用机制
4. 可用流量、转化量和预计周期
5. 分流与埋点能力
6. 业务不能被伤害的指标
7. 决策人及最终上线门槛

用 templates/experiment-card.md 记录完整方案。

执行步骤

1. 先判断是否值得测试

依次回答：

• 这个问题对业务结果是否重要？
• 变化能否只影响一个主要机制？
• 是否有足够样本观察差异？
• 结果是否会改变后续决策？
• 当前数据与埋点是否可信？

如果任何一项明显不成立，先修复前置条件。

2. 写成可证伪假设

使用下面的句式：

对于【目标用户】，把【当前方案】改为【实验方案】，会通过【作用机制】使【主指标】发生【预期方向】变化，因为【已有证据】。

避免“新版更好”“用户会更喜欢”这类无法验证的表达。

3. 锁定实验变量

对照组保持当前体验。实验组只改变与假设直接相关的部分。

如果必须同时更改多个元素，要明确这是组合方案测试，结果只能说明整套方案有效，不能推断其中某个元素单独有效。

4. 建立指标树

每个实验至少包含：

• 主指标：最终用来判断成败，只选一个
• 辅助指标：解释用户行为发生在哪一步
• 护栏指标：防止局部提升伤害整体体验或收入
• 数据质量指标：检查分流、曝光和事件记录是否正常

指标必须写清计算口径、时间窗口、去重规则和数据来源。

5. 规划样本与周期

明确：

• 随机分流单位：用户、账号、设备、会话或地区
• 分流比例
• 当前基线
• 最小可检测变化 MDE
• 显著性水平与检验功效
• 预计所需样本
• 最短完整业务周期

不要因为中途数字好看就提前结束。实验开始前写好停止规则。

6. 设计埋点与数据检查

为每个关键事件记录：事件名、触发条件、属性、用户标识和验证方式。

上线前先做 A/A 或小流量检查，确认：

• 两组样本比例符合预期
• 用户不会在不同组之间跳动
• 曝光事件早于结果事件
• 核心事件没有重复或漏记
• 机器人、内部员工和异常流量已处理

7. 写上线与回滚方案

列出功能开关、灰度顺序、监控看板、异常阈值和回滚负责人。涉及支付、登录或关键流程时，护栏触发应能快速停止实验。

8. 预先定义结果判定

至少覆盖四种情况：

1. 主指标显著提升，护栏正常
2. 主指标无明显变化
3. 主指标提升，但护栏恶化
4. 数据质量不可信或结果互相矛盾

对每种情况写明：上线、继续测试、重新设计还是停止。

9. 实验结束后复盘

复盘不只写“赢了”或“输了”。还要记录：

• 实际样本与运行周期
• 指标结果和不确定性范围
• 用户分群是否出现相反结果
• 假设中的作用机制是否得到支持
• 是否存在新奇效应、季节性或外部活动干扰
• 下一步决策与负责人

输出格式

交付一份实验卡：

# 实验名称

## 背景与证据
## 实验假设
## 对照组与实验组
## 指标定义
## 样本和周期
## 埋点方案
## 风险与护栏
## 上线、停止与回滚
## 结果判定规则
## 复盘记录

如果需要研发实施，再补充事件表、功能开关说明和 QA 用例。

完整示例

某工具的注册完成率为 42%，访谈发现用户不理解“工作空间名称”。团队想把字段说明改成带示例的提示。

合理实验设计：

• 假设：加入具体示例能降低理解成本，从而提高注册完成率
• 对照组：原字段标题与空白输入框
• 实验组：字段标题不变，增加用途说明与示例值
• 主指标：看到该字段后 30 分钟内完成注册的用户比例
• 辅助指标：字段报错率、该步骤停留时间
• 护栏指标：后续工作空间改名率、客服求助率
• 分流单位：账号
• 停止条件：达到预定样本且至少覆盖两个完整周周期
• 决策：主指标提升且护栏无明显恶化时逐步全量

质量检查清单

• [ ] 假设可以被结果否定
• [ ] 实验只改变一个主要机制
• [ ] 主指标只有一个且计算口径明确
• [ ] 护栏指标覆盖潜在副作用
• [ ] 分流单位不会造成交叉污染
• [ ] 样本与周期依据基线和 MDE 计算
• [ ] 埋点经过上线前验证
• [ ] 没有根据中途波动随意停止
• [ ] 结果判定规则在实验前写好
• [ ] 上线、停止和回滚均有负责人
• [ ] 复盘记录包含不确定性与下一步

信息不足时怎么处理

• 没有基线：先拉取历史数据或运行短期观察，不编造样本量
• 流量不足：建议扩大变化、延长周期，或改用定性研究
• 不能随机分流：采用分阶段灰度，并明确因果结论受限
• 想同时测试很多元素：拆成连续实验或明确测试的是组合方案
• 指标争议：先与决策人确认主指标和不可接受的损失
• 埋点不可靠：暂停实验，先修复数据质量