Growth Experiment Lab
A/B 实验的决策模拟器 —— 不是算个 p 值就完,而是把增长 PM 每天要做的三个判断做成能上手操作的工具。
输入
输出
8,155
对照组需要样本量
8,155
实验组需要样本量(占比 50%)
5 天
按 4,000 人/天 预计需要
0.76%
只肯跑 7 天,能检出这么小的绝对提升
(等价于相对提升 15.10%)
(等价于相对提升 15.10%)
目标提升是 1.00% 绝对提升。 如果把实验从 5 天压到 7 天,能确信检出的最小提升会变成 0.76%。
MDE 曲线 —— 想检出更小的提升,样本量涨得多凶
曲线是 1/MDE² 的形状 —— 想把可检出的提升砍一半,样本量大约翻两番。 红点是你当前的设计。这就是为什么「想检出 0.5 个点的提升」经常意味着要跑小半年。