向量投影是线性代数中很重要的应用，用于找到向量到目标投影空间的投影向量。基本子空间中有着更加特殊和精确的关系，由此可以引出向量空间的正交性及投影等问题。这是下一节线性回归的基础。
Ax=bAx=bAx=b有解时当计算线性方程组Ax=bAx=bAx=b 有解时， bbb就在C(A)C(A)C(A)的子空间中，则Ax=bAx= b Ax=b在C(AT)C(A^T)C(AT)中有唯一解。我们考虑xxx的投影。
设α∈Rnalpha in mathbb {R}^nα∈Rn是Ax=bAx= bAx=b的解，则α=αr+αn,αr∈C(AT),αn∈N(A)alpha = alpha_r + alpha_n, alpha_r in C(A^T), alpha_n in N(A) α=αr+αn,αr∈C(AT),αn∈N(A)。则：
αralpha _rαr 是αalphaα 在C(AT)C(A^T)C(AT)的投影。αnalpha _nαn 是αalphaα 在N(A)N(A)N(A)的投影。
Ax=bAx=bAx=b无解时当计算线性方程组 Ax=bAx=bAx=b 时， 它可能是无解的，此时我们可以考虑求 x^∈Rnhat{x} in mathbb{R}^{n} x^∈Rn，使得|| Ax^−b A hat{x} - b Ax^−b || 最小或极小？
这就意味着当 b∉C(A)b otin C(A) b∉C(A) 时，我们需要求解 C(A)C(A)C(A) 上距离 bbb 最近的点 Ax^A hat{x}Ax^ ， 它就是bbb 在 C(A)C(A)C(A) 上的投影点。
这对于我们理解最小二乘法很有帮助，具体请参考下一章。
以三维空间为例，目标投影空间可能是线，也可能是面。
投影的实质就是找一个函数，从而使得 P(B)=bP(B) = bP(B)=b ，也就找到了 BBB 在某一维度的映射。
类似的，在线性代数中，我们需要找到投影矩阵 PPP ，使得 Pb∈C(A)Pb in C(A)Pb∈C(A) 。
投影矩阵 PPP投影矩阵 PPP ，顾名思义，就是利用矩阵 PPP ，将向量 bbb 投影到所需的”空间“中，设投影点为 ppp，则误差向量 e=b−pe = b - pe=b−p。
在直线上的投影求 bbb 在直线 aaa 上的投影向量 ppp.
已知 p+e=b,e⊥a,p=ta(t∈R) p + e = b, e perp a , p = ta (t in mathbb{R}) p+e=b,e⊥a,p=ta(t∈R)
∴e⊥a→aT(b−ta)=0→t=aTbaTa(a≠0) herefore e perp a ightarrow a^T(b - ta) = 0 ightarrow t = frac{a^Tb}{a^Ta} (a e 0)∴e⊥a→aT(b−ta)=0→t=aTaaTb(a≠0)
即 bbb 在直线 aaa 上的投影向量为 (aTbaTa)a=p (frac{a^Tb}{a^Ta} ) a = p (aTaaTb)a=p. (a，b表示相应列向量)
投影向量p=(aTbaTa)a=aTaaTa)bp = (frac{a^Tb}{a^Ta} ) a = frac{a^Ta}{a^Ta} ) b p=(aTaaTb)a=aTaaTa)b
我们称 aTaaTa frac{a^Ta}{a^Ta}aTaaTa为投影矩阵 PPP.
在平面上的投影给定 v∈R3v in mathbb{R}^3v∈R3 ，求 vvv 在平面 π=C(A)pi= C(A)π=C(A) 上的投影 ppp .
令 α1,α2alpha_1, alpha_2α1,α2 是平面 πpiπ 上两无关向量，即 π=C(A) pi = C(A)π=C(A) 的一组基。
令p=Ax^p = Ahat{x}p=Ax^，则 e=v−Ax^e = v - Ahat{x}e=v−Ax^ 垂直于平面 πpiπ ，即其属于AAA 的左零空间。
∴AT(AX^−v)=0 herefore A^T(Ahat{X} - v) = 0∴AT(AX^−v)=0， 即 x^ hat{x}x^ 是 ATAx=ATvA^TAx = A^TvATAx=ATv 的解。
∵Aecause A∵A 的列向量线性无关，即 ATAA^TAATA 是可逆矩阵
∴x^=(ATA)−1ATv→p=A(ATA)−1ATv herefore hat{x} = (A^TA)^{-1}A^Tv ightarrow p = A(A^TA)^{-1}A^Tv∴x^=(ATA)−1ATv→p=A(ATA)−1ATv.
我们称 A(ATA)−1AT A(A^TA)^{-1}A^T A(ATA)−1AT 为投影矩阵 PPP.
一般情形AAA 为 m×nm imes nm×n 矩阵，设 b∈Rmb in mathbb{R}^mb∈Rm，求 bbb 在 C(A)C(A)C(A) 上的投影 ppp ?
p∈C(A)⟺∃x^∈Rn,Ax^=pp in C(A) Longleftrightarrow exists hat{x} in mathbb{R}^n, A hat{x} = pp∈C(A)⟺∃x^∈Rn,Ax^=p。
∵e=b−p⊥C(A)↔e∈N(AT)ecause e = b - p perp C(A) leftrightarrow e in N(A^T)∵e=b−p⊥C(A)↔e∈N(AT)
∴ATe=⇒AT(b−Ax^)=0.⟹p=Ax^=A(ATA)−1ATb herefore A^T e= Rightarrow A^T(b - A hat{x}) = 0. Longrightarrow p = Ahat{x} = A(A^TA)^{-1}A^Tb∴ATe=⇒AT(b−Ax^)=0.⟹p=Ax^=A(ATA)−1ATb
这里需要注意一点：ATAx=ATbA^TAx = A^TbATAx=ATb 总有解（无论 AAA 是否列满秩）
这是因为C(AT)=C(ATA),ATb∈C(AT)=C(ATA)C(A^T) = C(A^TA), A^Tb in C(A^T) = C(A^TA)C(AT)=C(ATA),ATb∈C(AT)=C(ATA)，所以总能找到这样的 x^hat{x}x^ 使得 x^=A(ATA)−1AThat{x} = A(A^TA)^{-1}A^Tx^=A(ATA)−1AT。
投影矩阵 PP P的性质若AAA 的列向量线性无关（列满秩），则矩阵 ATAA^TAATA 可逆，投影矩阵 P=A(ATA)−1AT P = A(A^TA)^{-1}A^T P=A(ATA)−1AT 满足P2=P,PT=PP^2=P, P^T = PP2=P,PT=P
从直观上，向量 bbb 经过一次投影到平面AAA 上后再经过相同的一次投影仍然在平面AAA 上，因此投影矩阵 P2P^2P2 和 PPP 的效果是一样的，因此P2=PP^2=PP2=P 。
数学推理：
P2=(A(ATA)−1AT)(A(ATA)−1AT))=A(ATA)−1(ATA)(ATA)−1AT=A(ATA)−1AT=PP^2 = (A(A^TA)^{-1}A^T)(A(A^TA)^{-1}A^T)) = A(A^TA)^{-1}(A^TA)(A^TA)^{-1}A^T = A(A^TA)^{-1}A^T = PP2=(A(ATA)−1AT)(A(ATA)−1AT))=A(ATA)−1(ATA)(ATA)−1AT=A(ATA)−1AT=P
C(P)=N(I−P),N(P)=C(I−P)C(P) = N(I-P), N(P) = C(I-P)C(P)=N(I−P),N(P)=C(I−P)∵P2=Pecause P^2 = P∵P2=P
∴P(I−P)=0⟹C(I−P)⊂N(P) herefore P(I-P)=0 Longrightarrow C(I-P) subset N(P)∴P(I−P)=0⟹C(I−P)⊂N(P)
设 α∈N(P)alpha in N(P)α∈N(P)，则 Pα=0⟹α=(I−P)αPalpha = 0 Longrightarrow alpha = (I-P) alphaPα=0⟹α=(I−P)α
∴α∈C(I−P)⟹N(P)⊂C(I−P) herefore alpha in C(I-P) Longrightarrow N(P) subset C(I-P) ∴α∈C(I−P)⟹N(P)⊂C(I−P)
综上：N(P)=C(I−P)N(P) = C(I-P)N(P)=C(I−P)
同理C(P)=N(I−P)C(P) = N(I-P)C(P)=N(I−P)