AB测试样本量的问题

其实你问的就是样本量的问题。样本量是有一套自己的计算公式的

$$S=\frac{\frac{z^2p(1-p)}{e^2}}{1+\frac{z^2p(1-p)}{e^2N}}$$

可以根据上面的式子计算出所需要的样本量$S$。$N$是样本总数，你这里是10000，$z$是z-值，根据95%置信区间，我们知道$z=1.96$，$e$是边际误差，你没有给出，默认是1%吧。$p$是CTR，假设这里是$0.05$。

把数值带进去，可以得到$S\approx1543\gt1000$，所以你一天的数据是不够的。

如果你连续测两天，也就是$N=20000$，此时再计算一遍样本量，得到$S\approx 1672 \lt 2000$，所以两天就够了。