AB检测里selection bias是什么?一般是怎么造成的?
2个回答
AB test中分成对照组和实验组,在实验开始前,对照组和实验组的样本和样本相关属性应该是同分布的。
但是实际过程中,由于对照组的样本和实验组的样本都是人为选定的,所以很难做到同分布,往往有偏差,这种偏差就是选择偏差(selection bias)。
比如想通过AB test检验一本辅导教材的效果,对照组是一个普通中学的全体学生,实验组是一个重点中学的全体学生。这两所学校的学生就不是同分布的。
比如想通过AB test检验一个在线汽车广告的效果,对照组是青年女性用户,实验组是中年男性用户。这两批人群也不是同分布的。这样选择样本都会有选择偏差。要做到无偏差,一般会通过完全随机取样。
SofaSofa数据科学社区DS面试题库 DS面经通俗的讲.如果你想要测试两个产品的好坏,例如网站1.0和2.0。那么单独将拿给两波人用,再进行反馈统计,用户对网站的好评率就是比较的指标。
selection bias就是个来源于测试群体的“样本选择偏差”。再举个例子,例如两种型号键盘通过abtest比较好坏。得到统计结果实验者用a键盘错字率2%,b键盘错字率5%。看上去a键盘更好吧?但如果a键盘实验者是个程序员b键盘实验者是个小白呢?因为测试群体随机性,正如楼上的重点中学和普通中学学生能力不同。会导致*不客观结果*
SofaSofa数据科学社区DS面试题库 DS面经