正交、投影与最小二乘
本节目标
你将从“找子空间内最近点”理解正交投影和最小二乘，推导残差正交条件，区分拟合值是否唯一与参数是否唯一，并知道正规方程适合解释但不应被机械实现为显式求逆。
正交与投影
若 ，两向量正交。把 投影到非零向量 的方向：
例：、，投影为 ，残差 与 正交。
若 是两两正交且长度为 1 的基，将它们组成 ，则投影到其列空间可写：
正交基使坐标计算清晰，也避免重复方向互相干扰。Gram–Schmidt 可从独立列构造正交基；数值库通常使用更稳定的 QR 实现，而不是照搬最朴素手算过程。
为什么最小二乘是投影
当 无精确解，寻找使残差平方长度最小的 ：
是 在 列空间上的最近点，残差 与列空间正交：
得到正规方程：
这解释了线性回归：预测落在特征列张成的空间里，剩余误差与每个特征列正交。
若 满列秩，参数解唯一；若列相关，最接近的拟合向量 仍可能唯一，但产生它的参数可以有多个。SVD 型最小二乘求解器通常选择某个最小范数解，必须查看具体 API 契约。
在 满列秩时，理论投影矩阵可写为：
这条式子用于理解，不是默认实现建议。显式形成逆矩阵会增加计算和数值风险；秩不足时该逆不存在。下一节将用条件数解释为什么 QR/SVD 路径更稳妥。
一元线性回归
模型 。最小化：
将全 1 列加入设计矩阵即可把偏置并入参数。项目脚本用等价闭式公式计算 ，并检查残差和、残差与中心化 的点积接近 0。
中心化 后，斜率和截距为：
分母为 0 表示所有 相同，无法从数据识别斜率。分母很小则提示近常量特征和敏感性风险。
数值与统计边界
- 正规方程便于理解，但显式计算 可能放大数值问题；工程库通常用 QR、SVD 或专用最小二乘求解器。
- 最小二乘给出代数最优拟合，不自动满足因果解释、独立同分布或同方差等统计假设。
- 离群值因平方损失被放大；是否换鲁棒损失取决于数据机制，而不是为了得到更好看的分数。
- 训练残差最小不等于泛化最好；数据划分、噪声、过拟合与不确定性要结合 概率统计 和 机器学习 判断。
与 Embedding/检索的联系
- 投影把高维向量分解为“某子空间内的成分 + 正交残差”。
- 降维是在较低维子空间保留主要结构。
- 将 query 映射到某领域子空间可能强化相关方向，也可能丢失关键信息。
- cosine 相似度中的点积和正交概念源于同一几何。
常见误区、练习与自测
- 手算 在 上的投影。系数为 ，投影 。
- 验证残差 与 点积为 0。
- 用三个点
(0,1)、(1,3)、(2,5)手算斜率和截距。 - 解释列相关时“拟合向量可唯一”与“参数不唯一”为什么能同时成立。
- 给出一个不适合用平方损失的离群点场景，并说明需要核查的数据机制。
误区：最近点依赖所选范数； 最近不等于任何损失下都最优；特征缩放会影响正则化和数值条件；不可逆矩阵不应强行求逆。
- 我能从投影解释正规方程。
- 我知道工程中不应默认显式求逆。
- 我能区分代数拟合与统计因果结论。
- 我能写出一元闭式解，并识别分母为 0 的秩问题。
- 我知道参数唯一性取决于列秩。
参考资料
核验日期：2026-07-14。