为了加深对偏最小二乘法的理解,有必要理解其基本的性质,才能更好理解它整个过程。根据前面的文章,我们可以知道以下基本公式,这些是后续推导的基石,离开了这些,就像<<围城>>里面说的,彷佛要在半空造房子。
根据,w为其最大特征值对应的特征向量,同理得到v
性质一
性质二 成分t与其下级残差正交,对于任意n,则有
想一下这条公式的几何意义,p是怎么计算的
将E的各条边投影到的t的单位向量上,各长度构成p
令e为上的任意一列,将e 按照t方向和t正交方向N做分解
跟据的计算公式,我们可以知道,其对应的一列则为,必然与tn正交
性质三 各级成分t相互正交,对于任意i不等于j,则有
利用数据归纳法,假设相互正交,那么只要证明与前面的相互正交即可
依次类推可以得到与其他各成分都正交。在几何意义上,我们在性质二已经得到,每次E会将自身的成分,按列分为t的方向和其正交做分解,提取t方向,剩余t的正交方向作为残差,这一点保证了t成分之间不可能会有交集。即使w不正交,也不会影响t的正交。成分正交给回归带来一个好处,避免了多重共线的问题,
性质四 t与后续的残差均正交
根据性质二,则有
知道残差矩阵,提取了t的正交方向的信息,那么t与后续残差矩阵的正交性质就容易理解
性质五 p是t关于E的回归系数,p与w的关系
貌似很熟悉,但遗憾的是,w和p不大会相等。w并非E的特征向量,所以能并不保证从E中取出最大的信息
性质六
投影轴w与后续残差正交,对于j大于i,满足
几何上的意义是,后续残差E投影到w值为0,这一点也很容易理解,因为前面已经将w方向的成分提取完,残差中不可能再有w上的成分
性质七
投影轴 w与后续回归系数p正交,i<j
这条其实算是性质六的推论
性质八 投影轴w相互之间正交
从几何角度来看,由于轴上的成分已经提取完,后续的投影轴继续在这边投影得到的只会是0,因此不会有什么意义
性质九 任意残差矩阵中的变异信息量等于下一级的残差矩阵的变异信息加上本次提取的信息
令 属于的第j列,属于的第j列,属于第j各系数
则有
由于,正交,因此有
各列合并,可以推出上式
性质十 假设矩阵 E1 的秩为r,则有
则提取r个成分,由于各成分正交,每取出一个正交成分,残差矩阵的秩会减一。
各成分对E1和F1的变异解释能力分别为
同理可以得到累加变异解释能力
性质十二 任意成分t是原E1的线性组合
证明
有了这些基本性质,后面讨论PLS的优化和其他性质就容易多了 值得注意的是,w虽然是两两正交,甚至t也两两正交 但是不并存在 En = E1*wn,原因是p不等于w,如果p = w,那么就成立,并且p之间并不存在一定正交的情况。后续会对为什么p不能等于w展开讨论。
参考:
《偏最小二乘法的线性与非线性方法》