高斯混合模型里的隐变量是什么?具体是指哪一个变量?
3个回答
指某个数据属于某个高斯成分(Gaussian component)的one-hot分类标签向量。比如$x_i$属于4个高斯成分中的第2个,$z_i=[0,1,0,0]^T$。它先验分布可以是多项分布,$z_i|\pi \sim \text{multinormial}(\pi)$。一般数据的分类标签是未知的,所以是隐藏变量。主要目的是加入分类标签状态,引入中间辅助变量,便于简化计算。
一般不能直接通过最大似然函数法求解高斯混合模型GMM,(因为$\log$中有加法,没法交换顺序)。可以用EM算法交替求解分类标签期望$E(z_i)$和模型参数$\pi,\mu,\Sigma$。其中$E(z_i)$是$x_i$属于各个高斯成分的概率。
SofaSofa数据科学社区DS面试题库 DS面经每个样本都有一个隐变量,这个隐变量$W_{i,j}$是指第$i$个样本属于第$j$簇的概率。具体的数值是在EM算法的迭代中不停更新的。
具体可以看教程GMM与EM算法的Python实现
SofaSofa数据科学社区DS面试题库 DS面经
谢谢,很好的学习资料
-
jimmy
2019-05-18 12:53