矩阵理论基本知识

1、矩阵范数、算子范数

1. 矩阵无穷范数是非自相容范数，矩阵1-范数、矩阵2-范数是自相容范数
2. 矩阵2-范数：Frobenius范数，是向量2-范数的自然推广。$\Vert A{\Vert }_{m2}=\Vert A{\Vert }_F=\sqrt{\sum a_{ij}^{?}{a}_{ij}}$
   1. $\Vert A{\Vert }_{m2}=\sqrt{tr(A^{H}A)}=\sqrt{A的正奇异值的平方和}$
   2. $\Vert A{\Vert }_{m2}=\Vert U^{H}AV{\Vert }_{m2}=\Vert UA{V}^H{\Vert }_{m2}$
   3. $\Vert A{\Vert }_{m2}=\Vert UA{\Vert }_{m2}=\Vert AV{\Vert }_{m2}=\Vert UAV{\Vert }_{m2}$
3. 矩阵范数是相容范数：则必存在向量范数与之相容。$||Ax||\le ||A|{|}_m||x||$
   1. 证明过程：构造$||x||=||x{a}^H|{|}_m$
   2. 矩阵的特征值一定小于等于该矩阵范数。
   3. 反过来说，如果矩阵的特征值大于了某个矩阵范数，则该矩阵范数一定不相容。
4. 任意向量范数：则必存在矩阵范数与之相容，其中放大效果的最大值称为算子范数。
   1. 算子范数再大，不过向量范数的上确界，鸡头始终是鸡
   2. 和向量范数相容的矩阵范数，终归是矩阵范数，始终有$||Ax||\le ||A|{|}_m||x||$，所以矩阵范数会大于算子范数。
   3. 换句话说，和向量范数相容的矩阵范数的下确界是算子范数。
   4. 算子范数是自相容矩阵范数。$||A^k||\le ||A|{|}^k$
5. 常见算子范数：
   1. 从属于向量1-范数的算子范数称为算子1范数：极大绝对列和范数；
   2. 从属于向量2-范数的算子范数称为算子2范数：谱范数=$\sqrt{r(A^{H}A)}$；
   3. 从属于向量∞-范数的算子范数称为算子无穷范数：极大绝对行和范数；
   4. 证明思路：存在上界，上界可达。
6. 算子范数的性质：$||?||$是算子范数
   1. $||E||=1$
   2. $||A^{?1}||\ge ||A|{|}^{?1}$；$||A||\ge ||A^{?1}|{|}^{?1}$
   3. $||A^{?1}|{|}^{?1}=\inf \frac{||Ax||}{||x||}=mi{n}_{x\ne 0}\frac{||Ax||}{||x||}\le ||A||$
   4. $|\lambda |\le ||A||$；$|{\lambda }^k|\le ||A^k||$
7. H?lder 范数：p-范数。可以p取1和无穷。
8. H?lder不等式：$|X^{H}Y|\le \sum |x_i||y_j|\le \Vert X{\Vert }_q\Vert Y{\Vert }_p,1/q+1/p=1$

2、矩阵分解

已经写过一期了，见：矩阵理论–矩阵分解

补充：

正规矩阵A性质：$A^{H}A=A{A}^H$

1. $\lambda (A)=\bar{\lambda }(A^H)$；$||Ax||=||A^{H}x||$
2. A的特征子空间和A^H的特征子空间完全相同。
3. A的特征子空间正交。不同特征值的特征向量必正交。
4. A是单纯矩阵

任意矩阵A：

1. $\Vert A{\Vert }_{m2}=\sqrt{tr(A^{H}A)}=\sqrt{tr(A{A}^H)}$
2. $A^{H}A$和$A{A}^H$的非零特征值完全相同，数值相同、代数重复度相同。
3. rank(A)=rank(A^H)=rank(A^HA)=rank(AA^H)。证明很重要
   1. A^HA的核空间包含A的核空间，即Ax=0，则必有A^HAx=0
   2. A的核空间包含A^HA的核空间，即A^HAx=0，则必有x^HA^HAx=<Ax,Ax>=0，即Ax=0
   3. N(A^HAx)=N(A)，由秩-零化度定理知：rank(A)=rank(A^HA)
4. $A^{H}A$和$A{A}^H$都是半正定矩阵。
5. A的特征值和奇异值的关系：
   1. 若A为非方阵，则A没有特征值。但A有奇异值。
   2. 如果A为方阵，则A的特征值的平方和<=A的奇异值的平方和。
   3. 如果A为正规矩阵，则A的特征值的平方和==A的奇异值的平方和。
   4. 因为正规矩阵酉相似于对角阵，任意方阵酉相似于三角阵。

3、矩阵的估计

1、有关特征值的不等式

1. 舒尔不等式：${\sum }_{i=1}^n|{\lambda }_i{|}^2\le ||A|{|}_F^2$
2. Hirsh不等式：$|{\lambda }_i|\le n||A|{|}_{m_{\infty }}$
3. Bendixson不等式：$|Im{\lambda }_i|\le \sqrt{\frac{n(n?1)}{2}}||(A?A^H)/2|{|}_{m_{\infty }},A\in R^{n\times n}$
   1. n(n-1)是因为实矩阵的反共轭对称分量是的对角元为0。
   2. 除以2是因为实矩阵的复特征根成对出现。
   3. 其余证明同Hirsh不等式
4. Browne不等式：${\sigma }_n\le |{\lambda }_i|\le {\sigma }_1$
5. Hadamard不等式：${\prod }_{i=1}^n|{\lambda }_i|=|\det (A)|\le \sqrt{{\prod }_{i=1}^n{\alpha }_i^H{\alpha }_i}$
   1. 施密特正交化：A = BR，R是单位正线上三角
   2. $\det (A)=\det (BR)=\det (B)\det (R)=\det (B)$
   3. $|\det(B)|^2 = |\det(B^H)\det(B)| = |\det(B^{HB)|=\prod_{i=1}}n b_i^Hb_i \le\prod_{i=1}^n \alpha_i^H\alpha_i $
   4. $|\det (A)|\le \sqrt{{\prod }_{i=1}^n{\alpha }_i^H{\alpha }_i}$

2、盖尔圆盘定理

1. 关于圆盘定理1、圆盘定理2:Gerschgorin定理，以及用python绘制Gerschgorin圆盘动图
2. 有的盖尔圆里面可能没有特征值（盖尔圆盘连通，将导致特征值函数不连续）
3. n阶矩阵A的n个圆盘均孤立，则A可对角化（充分不必要）。
4. n阶实矩阵A的n个圆盘均孤立，则A的特征根均为实数。
5. 行严格对角占优矩阵A：
   1. 若A的对角元全大于0，则A的所有特征值有正实部；
   2. 若A的对角元全大于0，且A是Hermite矩阵，那么A的所有特征值均为正数。

3、Hermite矩阵的变分特征

1. Courant-Fischer定理：Hermite矩阵的特征值估计——courant-fischer定理

2. Weyl定理（韦尔定理）：

   1. A,B均为Hermite矩阵
   2. ${\lambda }_k(A)+{\lambda }_n(B)\le {\lambda }_k(A+B)\le {\lambda }_k(A)+{\lambda }_1(B)$

4、矩阵分析

1. 矩阵序列极限的运算规则：A^(k)、B^(k)的极限为A、B

   1. 线性运算：aA^(k)+bB^(k) →aA+bB (k → +∞)
   2. 乘：A^(k)B^(k) →AB (k → +∞)
   3. 当A^(k)、A均可逆的时候：(A^(k))^-1 → A^-1 (k → +∞)

2. 用矩阵范数定义矩阵序列极限：

   1. ${\lim }_{k\to +\infty }||A^{(k)}?A||=0$

3. 收敛矩阵 等价于 谱半径r(A)<1

   1. ${\lim }_{k\to +\infty }{A}^k=O$称为收敛矩阵

4. 矩阵级数绝对收敛的充要条件是正项级数${\sum }_{i=0}^{\infty }||A^{(k)}||$收敛

5. Neumann级数：E+A+A²+A³+…… = (E-A)^-1. r(A)<1时成立

6. 矩阵幂级数f(A)：数项幂级数f(z)收敛半径为r，若r(A)<r则f(A)绝对收敛

7. 矩阵函数：收敛的矩阵幂级数的和S，记作f(A)

8. 收敛半径判断方法：

   1. 达朗贝尔判敛法：$\underset{n\to \infty }{\lim }\left|\frac{c_{n+1}}{c_n}\right|=\rho$ , R = 1/rho
   2. 柯西判敛法：$R=\underset{n\to \infty }{\mathrm{liminf}}{\left|c_n\right|}^{?\frac{1}{n}}$

9. 四阶Jordan块的k次幂,特征值为a：$\left[\begin{array}{cccc}{a}^k& k{a}^{k?1}& \frac{k(k?1)}{2!}{k}^{k?2}& \frac{k(k?1)(k?2)}{3!}{k}^{k?3}\\ 0& a^k& k{a}^{k?1}& \frac{k(k?1)}{2!}{k}^{k?2}\\ 0& 0& a^k& k{a}^{k?1}\\ 0& 0& 0& a^k\end{array}\right]$

5、广义逆矩阵

逆，生来就是用于解方程组的。

1. 逆：行列满秩。

2. 单边逆：左逆列满秩；右逆行满秩。

   1. 求法：高斯消元。

   2. 列满秩矩阵：Ax=b

      1. 行初等变换，可以得到左逆$A_L^{?1}$。
      2. 有解的充要条件：$A{A}_L^{?1}b=b$
      3. 唯一解：$x=(A^{H}A{)}^{?1}{A}^{H}b=A_L^{?1}b$
      4. 需要注意，左逆矩阵不唯一，$(A^{H}A{)}^{?1}{A}^H$也是列满秩矩阵A的左逆。

   3. 行满秩矩阵：

      1. 列初等变换，可以得到右逆$A_R^{?1}$。
      2. 行满秩矩阵一定有解，且解不唯一。自由未知数的个数为n-m
      3. $A^H(A{A}^H{)}^{?1}$是A的一个右逆。右逆矩阵不唯一。
      4. 需要注意：$A^H(A{A}^H{)}^{?1}b\ne A_R^{?1}b$ 通常情况求出来的是两个不同的解，均满足Ax=b。这是因为行满秩矩阵Ax=b的解不唯一。
      5. 行满秩矩阵的A+是A的一个右逆。

3. 广义逆：任何矩阵都存在广义逆矩阵。

   1. AGA=A 等价于 G是A的广义逆矩阵

   2. 单边逆是广义逆的特殊情况。

   3. Ax = b有解的充要条件：rank A = rank (A b)

   4. 当A列满秩，且rank A = rank (A b) ，则有唯一解。

   5. 当A非列满秩，且有解，则有无穷多解。

   6. Gb = x , 且Ax = b，则称G是A的一个广义逆。

   7. 广义逆矩阵不唯一，零矩阵的广义逆矩阵是任意矩阵。

   8. 广义逆矩阵通常记作$A^{?}$，区别于$A^{?1}$

   9. 广义逆矩阵的秩 大于等于 A的秩。

   10. 广义逆矩阵是逆矩阵的推广，当A是可逆矩阵的时候，A^-=A^-1

   11. 广义逆矩阵有逆矩阵类似的性质：

       性质	广义逆矩阵	逆矩阵
       定义	对于矩阵A，存在矩阵B，使得ABA=A	对于方阵A，存在矩阵B，使得AB=BA=I
       记号	$A^{?}$	$A^{?1}$
       行为	对于任意向量b，满足$A{A}^{?}$b=b	对于任意向量b，满足$A{A}^{?1}$b=b
       矩阵乘法	$A{A}^{?}$A=A	AA${}^{?1}$A=A
       矩阵的秩	rank($A^{?}A$)=rank($A{A}^{?}$)=rank(A)	rank(AA${}^{?1}$)=rank(A)=n（满秩）
       逆的存在	广义逆存在于可逆和不可逆矩阵中	逆存在于方阵（可逆矩阵）中
       唯一性	广义逆可以有多个不同的解	逆是唯一的
       幂等性	$A{A}^{?}$ 、$A^{?}A$是幂等矩阵	$A{A}^{?1}=A^{?1}A=I$是幂等矩阵
       数乘	aA的广义逆为$\frac{1}{a}{A}^{?}，a\ne 0$	aA的逆为$\frac{1}{a}{A}^{?1}，a\ne 0$
       正交投影	若$(A{A}^{?}{)}^H=A{A}^{?}$，则$A{A}^{?}=P_{R(A)}$	$A{A}^{?1}=I$，I是从Cn到R(A)的正交投影

4. 自反广义逆

   1. 定义：AGA=A且GAG=G。存在且不唯一。
   2. 求法：
      1. 最大秩分解法：A=BD，$A_r^{?}=D_R^{?1}{B}_L^{?1}$
      2. 构造法：X、Y是A的广义逆，则Z = XAY是自反广义逆，当然YAX也是自反广义逆。
      3. 公式法：X=(A^HA)^-A^H，Y =A^H(AA^H)^-都是自反广义逆
         1. R(A^H)=R(A^HA), N(A)=N(A^HA)
         2. 存在D，使得A^H=A^HAD
         3. 代入可证明AXA=A
         4. rank(X)<=rank(A^H)=rank(A^HA) = rank(A^HA(A^HA)^-A^HA)=rank(A^HAXA)<=rank(X)
         5. 所以X是自反广义逆
   3. A^_是自反广义逆的充要条件是rank(A)=rank(A^-)
      1. 必要性：AGA=A且GAG=G，则rank(A)=rank(AGA)<=rank(G)=rank(GAG)<=rank(A)
      2. 充分性：
         1. R(GA)属于R(G),R(GA)=R(A)=R(G)，则R(G)=R(GA)；
         2. GE=G，则存在X，GAX=G
         3. A=AGA=AGAXA=AXA
         4. 由构造法知G是自反广义逆
   4. 几何性质
      1. $R(A)\oplus N(A^H)=C^m$
      2. $R(A^H)\oplus N(A)=C^n$
      3. $R(A)\oplus N(A_r^{?})=C^m$
      4. $R(A_r^{?})\oplus N(A)=C^n$
      5. $R(A_r^{?})=R(A^H)$
      6. $N(A_r^{?})=N(A^H)$

5. MP广义逆

   1. 定义：AGA=A，GAG=G，(GA)^H=GA, (AG)^H=AG
   2. 存在且唯一
   3. 计算方法：
      1. 最大值分解法：$A^{+}=D^H(D{D}^H{)}^{?1}(B^{H}B{)}^{?1}{B}^H$
      2. 奇异值分解法：$A^{+}=V^H{D}^{+}{U}^H$
      3. 注意：最大值分解不唯一，然而最大值分解的这种乘积，即A⁺是唯一的。
   4. A+的性质：
      1. 自反性：(A+)⁺=A
      2. 唯一性：$A^{+}=(A^{H}A{)}^{+}{A}^H=A^H(A{A}^H{)}^{+}=D^H(D{D}^H{)}^{?1}(B^{H}B{)}^{?1}{B}^H$
      3. 几何性质：$R(A^{+})=R(A^H)$
      4. 正交投影性：$A{A}^{+}=P_{R(A)},A^{+}A=P_{R(A^H)}$
      5. 行列子空间相等性：R(A)=R(A^H)的充要条件是$A^{+}A=A^{+}A$
      6. $(A^{H}A{)}^{+}=A^{+}(A^H{)}^{+}=A^{+}(A{A}^H{)}^{+}A=A^H(A{A}^H{)}^{+}(A^H{)}^{+}$
      7. $A^{+}A=(A^{H}A{)}^{+}(A^{H}A)=(A^{H}A)(A^{H}A{)}^{+}$
   5. 若A是Hermite矩阵：
      1. $(A^2{)}^{+}=(A^{+}{)}^2$

6. 矩阵方程通解:

   1. AXB=D有解的充要条件：AA^-DB^-B=D
   2. 通解：X=A^-DB^-+Y-A^-AYBB^-
   3. Ax=b有解的充要条件：AA^-b=b
   4. 通解：x = AA^-b +y-A^-1Ay

7. 相容方程组的最小范数解：

   1. 相容方程组：有解方程组
   2. AGA=A，(GA)^H=GA
   3. Gb=x是最小范数解

8. 不相容方程组的最小二乘解：

   1. 不相容方程组：无解方程组
   2. AGA=A,(AG)^H=AG
   3. Gb=x是最小二乘解

9. 不相容方程组的最小二乘解有时候不够好，最小二乘解的最小范数解叫最佳逼近解：

   1. 最佳逼近解：A⁺b=x
   2. 如果方程组是相容方程组，则A⁺b是最小范数解

10. 关于广义逆的运算规则

    1. $(A^{?}{)}^H=(A^H{)}^{?}$
    2. $B=SAT,B^{?}=T^{?1}{A}^{?}{S}^{?1}$
    3. $(AB{)}^{+}=B^{+}{A}^{+}$的充要条件：$R(A^{H}AB)?R(B),R(B{B}^H{A}^H)?R(A^H)$