机器学习中lift的概念是什么?怎么用来评价模型?分类和回归模型都可以用lift这个指标吗?
1个回答
lift指标已经用来评价一些排序类的模型,在计算广告领域用的比较多。
比如在一家商场门口路过的1000个行人当中,我们只能发放100张优惠券。
第一次我们进行随机发放100张,他们进入商城消费,商城盈利为100元。
第二次我们利用模型判断给哪些人发放,模型挑选出了100位消费能力、消费意愿强的行人,他们进入商城消费,最终商城盈利500元。
我们将两者对比,实际上就是模型和随机猜测(baseline模型)的对比,两者的比值就是称为lift,这里lift=500/100=5。
上面的例子中,我们发放的比例是10%,如果发放比例是100%的时候,模型的lift就是1,因为和随机猜测一样,都是每个人都发。以优惠券发放的比例为x轴,lift为y轴,我们就可以得到lift曲线图。
对于分类模型也是可以用lift曲线的。
比如说我们要进行信用卡欺诈检测(有监督二分类),假设信用卡欺诈占总交易的1%。所以如果我们从20%的样本中随机猜测,正确率也只有1%。如果我们有一个模型进行分类,我们把认为最有可能是欺诈的20%挑出来,验证得到正确率有15%,那么此时lift就是15。
SofaSofa数据科学社区DS面试题库 DS面经