Moore-Penrose伪逆矩阵

发表于 | 分类于 |

Moore-Penrose伪逆

两种思路

$$
A^{*}=\lim _{a 10}\left(A^{T} A+\alpha I\right)^{-1} A^{T}
$$

$$
A^{+}=V D^{+} U^{T}
$$

我们都知道，只有方阵才有逆矩阵，换句话说非方阵（行列数不相同的矩阵）没有严格的逆矩阵。那么方阵的逆矩阵如何才能够推广到$n \times m$的矩阵呢？根据计算机数值计算的基本思想，我们可以利用一个矩阵去趋近于待求矩阵的真正的逆矩阵。而最直接的一个方法就是求一个$n\times m$矩阵X使$AX-I_m​$越接近于零矩阵越好。而这个概念就可以具体转化为以下的最佳化问题：
$$
\min _{X}\left|A X-I_{m}\right|_{F}
$$
其中$|\cdot|_{F}$表示的是其Frobenius范数。为了获得唯一解，我们就需要主张$X$必须具有最小的Frobenius范数。将$X$以列向量（column vector）表示为$X=\left[ \begin{array}{lll}{\mathbf{x}_{1}} & {\cdots} & {\mathbf{x}_{m}}\end{array}\right]$，则
$$
\left|A X-I_{m}\right|_{F}^{2}=\sum_{j=1}^{m}\left|A \mathbf{x}_{j}-\mathbf{e}_{j}\right|^{2}
$$
其中$\mathbf{e}_j$是欧几里得空间$\mathbb{C}^m$的第$j$个标准单位向量（也就是说第$j$元为1，其余元皆为0）。上述矩阵最佳化问题可以拆解成m个独立且形态相同的最小平方近似问题。
$$
\min _{\mathbf{x}_{j} \in \mathbb{C}^{n}}\left|A \mathbf{x}_{j}-\mathbf{e}_{j}\right|, \quad j=1, \ldots, m
$$
这里的思路主要是基于奇异值分解的算法。而我们常用的还有基于秩分解（rank decomposition）来进行推导的算法。$A=BC$，其中矩阵$B$是$m\times r$阶矩阵，$C$是$r\times n$阶矩阵，且$rank(A) = rank(B) = rank(C) = r$。秩分解的伪逆矩阵表达式为
$$
A^{+}=C^{\star}\left(B^{\star} A C^{\star}\right)^{-1} B^{\star}=C^{\star}\left(B^{\star} B C C^{\star}\right)^{-1} B^{\star}=C^{\star}\left(C C^{\star}\right)^{-1}\left(B^{\star} B\right)^{-1} B^{\star}
$$

参考资料

  1. Moore-Penrose伪逆矩阵，https://ccjou.wordpress.com/2013/07/03/moore-penrose-偽逆矩陣/
  2. 广义逆阵，https://zh.wikipedia.org/wiki/广义逆阵