我大致知道AB testing经常运用于网页优化的测试过程中,但是对它的原理和使用中的注意事项理解得不是非常透彻,能不能用通俗的语言进行讲解。
2个回答
说白了A就是对照组(control),B就是实验组(test)。
我们想要比较A组和B组某个指标是否相同,对于网站来说,可以是转化率、点击率、流量等等。
一般是经过一段时间,积累了一定数量的样本,我们就可以有足够的样本进行假设检验了。
从假设检验的角度来说,零假设$H_0: S_A = S_B$,对立假设$H_1:S_A\neq S_B$,或者单侧的对立假设。
这个想法和生统里的case-control study是一个道理,比如A组的病人吃得是安慰糖,B组的病人吃得是降压药,然后对比A,B两组人的血压的均值,也就是可以用T Test来做假设检验。
AB Test包含的内容比单纯的假设检验更广。因为AB Test涉及到很多实验设计的部分。