怎么判断一个损失函数的凹凸性?
3个回答
通常来说是很难判断的,不过有两个可行的办法。
1. 画图。但是因为损失函数是多元的,所以可以一个切面一个切面的画。
2. 求导。如果能够得到损失函数和模型参数的表达式,那么你就可以对这个表达式求二阶导,得到Hessian Matrix,然后再判断这个矩阵是否是正定的,如果正定,那么就是凸的。
以上两个办法在实际过程中都不一定可行。
SofaSofa数据科学社区DS面试题库 DS面经刚刚在西瓜书上看到相关的一段话,希望有帮助,在54页左下角:
“对实数集上的函数,可以通过求二阶导数来判别:若二阶导数在区间上非负,则称为凸函数;若二阶导数在区间上恒大于零,则称为严格凸函数。”
SofaSofa数据科学社区DS面试题库 DS面经
这个应该只是针对于解析的一元函数,多元的函数就需要hessian矩阵,不解析的话那就只能摊手了
-
chrisliang
2018-10-23 22:04