通过SVD分解已经可以得到AX=Y解的稳定性的度量为什么还需要定义条件数来说明?

  统计/机器学习 回归分析 特征选择 开放问题    浏览次数:2456        分享
0

对于一个方程组:

AX=Y,其中A:N×N,X:1,Y:1;

设A有SVD分解:A=U∑VT,∑=diag(σ1,σ2,...,σN),则可得X的解写作:

X=V∑-1UTY,将其展开写易得,

X=Sum1:N(ViUiT(Yii,i)),其中Vi、Ui是行向量,T表转置,Yi是Y的第i个元素,

可以发现,当奇异值σi,i越小时,解X对Y中的扰动就会越敏感,也就是说似乎我们可以直接用最小奇异值作为线性系统AX=Y中解X对Y中扰动的敏感程度,也即表征系统的病态性。既然如此请问为什么还要定义一个“矩阵条件数”来说明病态性呢

 

CE_PAUL   2019-11-25 21:15



   1个回答 
1

奇异值的相对大小比绝对大小更重要,矩阵条件数(condition number)更反映系统矩阵$A$的性质。举例说明:

线性方程$Ax+\epsilon=y$,$\epsilon$是高斯白噪声,在任意单位向量上投影后能量(方差)为1。

1. 当$\sigma_1\approx \sigma_N$且都很小,只要$|U_N^Ty|>|U_N^T\epsilon|$,也就是在最小分量上,信号$y$的能量比噪声$\epsilon$的能量大,信噪比大,$1/\sigma_N$也主要是放大信号。如果$|U_1^Ty|<|U_1^T\epsilon|$,说明信噪比太小。情况只能在生成信号时,放大信号$Ax$或降低噪音,提升整体信噪比。所以奇异值绝对值都很小的问题主要在生成信号时解决,很难在后期处理时解决,并且和$A$的特征无关。

2. 当$\sigma_1>> \sigma_N$,假设$\epsilon$是高斯白噪声,$|U_i^T\epsilon|=1$。此时$|U_N^T\epsilon|/\sigma_N >> |U_1^T\epsilon|/\sigma_1$,也就是噪声在最小分量上放大太多,如果$x$是图像的话会显示为有错误(artifact)而不是噪声。人眼是低通系统,会过滤一定的噪声,但是会认为artifact是真实的图像,所以这种危害比纯粹噪声更大。一般办法是加正则项,降低条件数,相对减小最小分量的放大系数。也可以认为最小分量上的信噪比小,可信度低,所以不能放大太多。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2019-11-27 12:57

谢谢! - CE_PAUL   2019-11-28 20:58


  相关讨论

训练样本中每个维度是否独立对回归结果的影响

LBP算法中解对应的条件数怎么计算?

向前逐步选择法和向后逐步选择法的结果是一样的吗?

做多元线性回归的时候,怎么快速排除掉没有用的特征?

AIC可以是负数吗?

两个特征整体的permutation importance

如何对大型线性回归进行并行计算?

线性回归是机器学习算法吗?

Sigmoid核函数是不是对新输入的需要预测的点的测量误差不敏感?

y取值有上下界限的回归问题

  随便看看

怎么对pandas dataframe的列求众数

如何检验两个样本是同分布的?

分类特征的目标编码是什么意思?

matplotlib.pyplot做折线图的时候,显示为虚线,或者点划线?

推荐系统有哪些常用的评价标准