我们经常对似然函数做对数变换(取log),这样的变换之后,似然函数的凹凸性会变吗?
如果原似然函数是非凸的,取log后,可能变成凸的吗?
2个回答
要判断一个(光滑)函数的凹凸性,只要对它求二阶导就可以了,二阶导小于等于0,说明是凹;大于等于0,说明是凸的。。
比如某个函数$f(x)$,我们想知道$\log f(x)$的凹凸性,就只需要对$\log f(x)$求导。
$$\left(\log f(x)\right)''=\left(\frac{f'(x)}{f(x)}\right)'=\frac{f(x)f''(x)-(f'(x))^2}{f^2(x)}$$
因为$f(x)$能够被取log,所以肯定是正数。
如果$f(x)$是凹函数,那么$\log f(x)$还是凹函数。
如果$f(x)$是凸函数,那么$\log f(x)$不一定是凸函数。
如果likelihood function是凹的,那么log likelihood function肯定也是凹的,导数为0的点就是最大值点。
SofaSofa数据科学社区DS面试题库 DS面经