矩阵理论–矩阵分解

矩阵的三角分解、谱分解、最大秩分解、奇异值分解的操作步骤，以及相关说明。

1、QR分解

（1）非奇异方阵

方阵（非奇异）：将方阵分解成酉矩阵左乘正线上三角，或者酉矩阵右乘正线下三角。

  1. 分解步骤：
    1. 列分块得n个列向量构成的向量组；
    2. 将n个列向量施密特正交单位化；
    3. 用标准正交基表出该向量组；
    4. 写成矩阵相乘的形式，即得三角分解。
  2. 施密特正交化-单位化：
    1. B1 = A1/|A1|；
    2. B2 = [A2-(A2,B1)B1]/|A2-(A2,B1)|;
    3. B3 = [A3 – (A3,B2)B2-(A3,B1)B1]/|A3 – (A3,B2)B2-(A3,B1)B1|;
  3. 反过来表出：记k11=|A1|,k22 = |A2-(A2,B1)|,k12=(B1,A2)
    1. A1 = k11B1;
    2. A2 = k12B1+k22B2;
    3. A3 = k13B1+k23B2+k33B3;
    4. A = [A1,A2,A3] = [B1,B2,B3][k11,k12,k13; 0,k22,k23;0,0,k33]

（2）满秩的高矩阵、宽矩阵

  1. 列满秩矩阵，列分块，添加列向量，补成一个方阵（非奇异），再按方阵的方式分解，将得到一个方形的酉矩阵左乘（正线上三角；0）
  2. 行满秩矩阵，行分块，添加行向量，补成一个方阵（非奇异），再按方阵的方式分解，将得到一个方形的酉矩阵右乘（正线下三角，0）

（3）其它矩阵

奇异矩阵，非满秩的高矩阵、宽矩阵，可以分解为 U ∣L000∣VU\begin{vmatrix}L&0\\0&0\end{vmatrix}VU ​L0​00​ ​V，U、V是两个方形酉矩阵（不一定同阶）。

分解步骤

2、谱分解

谱是指矩阵的所有特征根构成的集合，表示为 (A)={1,2,……,r}。

首先需要指出，只有单纯矩阵才有谱分解。

（1）单纯矩阵：每个特征根的基础解系的维数等于特征根的重数。

单纯矩阵，等价于可对角化矩阵。

  1. 分解步骤：P仅是一个非奇异阵。
    1. 解特征方程式，求特征根；
    2. 相似对角化：D = diag() = P-1AP;A = PDP-1；
    3. P列分块，P-1行分块，利用分块矩阵的乘法即得A的谱分解
  2. 单纯矩阵谱分解就是将矩阵分解成一系列的秩一矩阵加权和。
  3. 相似对角化：
    1. Ap = p，p是某个特征根的特征向量
    2. 由于是单纯矩阵，该特征根有几重，这样的p就有几个，这几个p要求线性无关；
    3. 一共有n个p，从而构成一个方阵P，且线性无关，那么就非奇异，有逆；
    4. D = P-1AP。
  4. 秩一矩阵：行向量乘以列向量。
  5. 幂等矩阵：投影矩阵，AA=A；由于P-1P=E，则P的行向量乘以P-1的列向量，将得到一个幂等矩阵。
  6. 幂等矩阵的秩可以是小于n的任何一个数，0矩阵也是一种幂等矩阵；特征值非零即1，可对角化。
  7. 秩一矩阵要么是幂等矩阵，要么是幂等矩阵乘以一个缩放因子，即AA=kA。

（2）正规矩阵：满足AHA=AAH。正规矩阵一定是单纯矩阵。

  1. 分解步骤：此处的P是一个酉矩阵。

    1. 相似对角化；
    2. P列分块，P-1行分块，分块矩阵乘法。

  2. 正规矩阵谱分解成了一系列的正交投影的加权和。

  3. 正交投影：幂等矩阵，并且是Hermite阵。

  4. 如果A为上三角矩阵，则A是正规矩阵的充要条件是A为对角矩阵；

  5. 如果A为块上三角矩阵，则A是正规矩阵的充要条件是A为块对角矩阵，且对角块为正规矩阵。

  6. tr(AAH)=tr(AHA)=A的矩阵二范数；

3、最大秩分解

  1. 最大秩分解：任意矩阵A，A=BD，B是一个列满秩矩阵，D是一个行满秩矩阵，三个矩阵的秩相等。
  2. 分解方法：
    1. A化为行简化阶梯形A_w；
    2. A_w的非0列对应于A中的列构成B，A_w的非0行对应于A_w的行构成D
  3. 列满秩矩阵：A是mxn的矩阵，若m>=n，则rank(A)<=n，nullity(A)<=n
    1. 秩零度定理：rank(A) + nullity(A) = n
    2. nullity(A)等于Ax=0的解空间维数。
    3. 如果rank(A)=n，那么nullity(A)=0，即Ax=0的解空间为零空间。
    4. 列满秩矩阵构成的齐次线性方程组只有零解。

4、奇异值分解

三角分解： A = U ∣L000∣VA=U\begin{vmatrix}L&0\\0&0\end{vmatrix}VA=U ​L0​00​ ​V

其中L是一个r阶正线下三角矩阵。

为了进一步简化，发展出奇异值分解： A = U ∣D000∣VA=U\begin{vmatrix}D&0\\0&0\end{vmatrix}VA=U ​D0​00​ ​V。

其中D是一个r阶正线对角矩阵。

  1. 分解步骤：
    1. 求AHA的特征值，从而求出正奇异值 σ i= λi \sigma_i = \sqrt{\lambda_i} σi​=λi​ ​。
    2. 由于是正规矩阵，因此可以将每个特征根对应的特征子空间的基抽出来构成一个n阶酉矩阵V= ∣ V1V2∣V = \begin{vmatrix}V1\\V2 \end{vmatrix} V= ​V1V2​ ​。
    3. A HA= V H ∣D HD0 0 0 ∣VA^HA=V^H\begin{vmatrix}D^HD&0\\0&0\end{vmatrix}V AHA=VH ​DHD0​00​ ​V
    4. D HD=diag{ λ1, λ2, . . . , λr }D^HD=diag\{{\lambda_1,\lambda_2,…,\lambda_r}\} DHD=diag{λ1​,λ2​,…,λr​}；D=diag{1,2,…,r}，|i| = i > 0; D的取法不唯一，i是一个复数，模长为i，相位任意。
    5. U = (U1, U2)；U1 = AV1HD-1;U2是U1的正交补，U2HU1=0。U1Hx=0，求出基础解系，U1和基础解系一起作施密特正交化，即得U。
    6. UHAVH = ∣D000∣\begin{vmatrix}D&0\\0&0\end{vmatrix} ​D0​00​ ​;
    7. A = U ∣ D 0 0 0 ∣VU\begin{vmatrix}D&0\\0&0\end{vmatrix}V U ​D0​00​ ​V
  2. (AHA)H = AHA，因此AHA是n阶正规矩阵，正规矩阵可以谱分解成一系列正交投影的加权和，正规矩阵是半正定矩阵。
  3. 正交补的求法：W2是W1的正交补。
    1. 根据秩零度定理：rank(A)+N(A)=n；
    2. A的极大无关列向量组可张成rank(A)维的空间W1；
    3. 令Ax=0，求出基础解系，基础解系可张成解空间W2；
    4. W1⨁W2=V(Cn)