MIT_线性代数笔记:第 16 讲 投影矩阵和最小二乘法

2023-12-13 17:56:14

投影 Projections

上一讲介绍了投影矩阵 P=A( A T A^T ATA) ? 1 ^{-1} ?1 A T A^T AT,当它作用于向量 b,相当于把 b 投影到矩阵 A 的列空间。
在这里插入图片描述
p+e=b,说明 b由两部分组成:
p =Pb为A 的列空间中的部分;
e = (I?P)b为A 的左零空间中的部分。
I ? P 为左零空间的投影矩阵,可以验证 ( I ? P ) T ( I ? P )^T (I?P)T = ( I ? P ),并且 ( I ? P ) 2 ( I ? P ) ^2 (I?P)2 =( I ? P )。

最小二乘法 Least Squares

应用投影矩阵求方程组最优解的方法,最常用于“最小二乘法”拟合曲线。
在这里插入图片描述
三个点{(1,1), (2,2), (3,2)},求直线方程 b=C+Dt,要求直线尽量接近于三个点。
C + D = 1 C + 2 D = 2 C + 3 D = 2 矩阵形式为 [ 1 1 1 2 1 3 ] [ C D ] = [ 1 2 3 ] \begin{align*} C + D =1 \\ C + 2D =2 \\ C + 3D =2 \end{align*} \qquad \qquad \qquad 矩阵形式为 \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} =\begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} C+D=1C+2D=2C+3D=2?矩阵形式为 ?111?123? ?[CD?]= ?123? ?
这个的方程 Ax=b 是无解的,解决办法就是求其最优解,最优解的含义即为误差最小,这里误差就是每个方程误差值的平方和
∥ e ∥ 2 = ∥ A x ? b ∥ 2 {\begin{Vmatrix} e \end{Vmatrix}}^2 ={\begin{Vmatrix} Ax - b \end{Vmatrix}}^2 ?e? ?2= ?Ax?b? ?2 ,因此就是寻找具有最小误差平方和的解 x,这就是所谓的“最小二乘”问题。 其中最接近的解为将b投影到A矩阵的系数x。
∥ e ∥ 2 = ∥ A x ? b ∥ 2 = ∥ e 1 ∥ 2 + ∥ e 2 ∥ 2 + ∥ e 3 ∥ 2 {\begin{Vmatrix} e \end{Vmatrix}}^2 ={\begin{Vmatrix} Ax - b \end{Vmatrix}}^2 ={\begin{Vmatrix} e1 \end{Vmatrix}}^2 +{\begin{Vmatrix} e2 \end{Vmatrix}}^2 +{\begin{Vmatrix} e3 \end{Vmatrix}}^2 ?e? ?2= ?Ax?b? ?2= ?e1? ?2+ ?e2? ?2+ ?e3? ?2
误差即为数据点到直线距离的平方和。这部分工作可称为线性回归,在数据点中没有“离群值” 时,这是非常有用的方法。
在这里插入图片描述
从几何上讨论求解过程,就是试图寻找数据点到直线距离的平方和 e 1 2 e_1^2 e12? + e 2 2 e_2^2 e22? + e 3 2 e_3^2 e32? 最小的情况,此时得到的 C+Dt 分别为 p1,p2和 p3,它们是满足方程并最接近于 b的结果。另一种看法是,对于 R3空间上的向量 b,它投影到矩阵 A 的列空间中会得到向量 p=[p1 p2 p3]T,投影到矩阵 A 的零空间中则为 e。
在这里插入图片描述
投影向量p与误差向量e是正交的:
在这里插入图片描述

矩阵 A T A^T ATA

在这里插入图片描述

文章来源:https://blog.csdn.net/weixin_43597208/article/details/134973429
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。