线性组合、方程组与秩

本节目标

你将把矩阵乘法理解为“用列向量做线性组合”，并用 span、基、列空间、零空间与秩判断方程是否有解、解是否唯一，以及一个特征集合是否包含冗余方向。

线性组合与张成

给定向量 $v_1,v_2$，任何 $c_1{v}_1+c_2{v}_2$ 都是线性组合。所有可能组合构成它们的张成空间（span）。矩阵 $A$ 的列空间是所有 $Ax$ 的集合。

$A=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],Ax=x_1\left[\begin{array}{c}1\\ 0\end{array}\right]+x_2\left[\begin{array}{c}0\\ 1\end{array}\right]$

两列能张成整个二维平面。若第二列是第一列的 2 倍，只能张成一条线。

子空间（subspace） 是对向量加法和标量缩放封闭的集合。能用一组线性独立向量张成该空间的最小生成组称为 基（basis），基向量个数称为 维数（dimension）。坐标依赖所选基，空间本身不依赖某个特定坐标写法。

线性独立与秩

若只有所有系数都为 0 才能使 $c_1{v}_1+\cdots +c_k{v}_k=0$，向量组线性独立。秩（rank）是矩阵独立行/列方向的数量。

$A=\left[\begin{array}{cc}1& 2\\ 2& 4\end{array}\right]$

第二列是第一列 2 倍，秩为 1。它看似有两个特征，实际只提供一个线性方向的信息。

矩阵的行秩等于列秩，因此统一称为 rank。对 $A\in {\mathbb{R}}^{m\times n}$：

$$0\le \mathrm{rank}(A)\le \min (m,n)$$

“满秩”要结合 shape：高矩阵可满列秩，宽矩阵可满行秩，并不都意味着方阵可逆。

方程组 $Ax=b$

$Ax=b$ 问的是：$b$ 是否在 $A$ 的列空间里？

• 不在：无精确解；
• 在且列独立：可能有唯一解；
• 在但存在冗余方向：可能有无穷多解。

高斯消元通过合法行操作把方程化简。学习重点不是手算巨大矩阵，而是理解主元、自由变量与秩。

零空间与解的唯一性

零空间（null space）包含所有满足 $Ax=0$ 的 $x$。如果存在非零 $z$ 使 $Az=0$，那么一旦 $x_0$ 是 $Ax=b$ 的解，$x_0+tz$ 对任意标量 $t$ 也给出同一个 $b$：

$$A(x_0+tz)=A{x}_0+tAz=b$$

因此列满秩意味着零空间只有零向量，参数不会沿某个隐藏方向任意漂移。对宽矩阵，未知数比独立约束多，通常存在自由变量；算法返回一个解不表示该解由数据唯一识别。

消元时记录什么

以方程组为例：

$$x+2y=3,2x+4y=6$$

第二行减去第一行的 2 倍得到全零行。第一列有主元，第二变量自由，因此秩为 1、解有一个自由度。行交换、非零倍缩放和一行加另一行倍数不会改变解集；实际浮点计算还要考虑主元选择和数值稳定性，不能只按“是否精确等于 0”判断近相关。

在 ML 中的用途

• 完全重复或线性相关特征让参数不可唯一识别，数值求解不稳定。
• $d$ 远大于样本 $n$ 时，模型可能有许多同样拟合训练集的参数，需要正则化或先验。
• 低秩近似用于压缩权重、降维和去噪。
• Attention 的 query/key/value 经过线性映射，其有效信息也受投影维度和秩限制。

可验证例子

方程：

$x+2y=3,2x+4y=6$

第二式只是第一式两倍，因此不能唯一确定 $x,y$；例如 $(3,0)$ 和 $(1,1)$ 都成立。再加入 $x-y=0$ 才会提供独立约束并得到唯一解 $(1,1)$。

常见误区

• 行列式为 0 只是方阵不可逆的信号，不等于数据“没有用”。
• 特征数量多不等于秩高；复制特征不增加信息方向。
• 满秩不保证数值稳定；近线性相关会产生很大的条件数。
• 方程可解不等于解在业务上合理，还要检查噪声、单位和约束。

练习与自测

1. 判断 (1,2),(2,4),(0,1) 中哪些方向冗余。
2. 为“样本少、特征多”的回归解释为什么可能有多解。
3. 对上面的方程写出通解，并给出零空间的一组基。
4. 分别举一个 3×2 满列秩矩阵和 2×3 满行秩矩阵，解释“满秩”含义。
5. 说明为什么一个求解器返回具体参数，不足以证明参数唯一可识别。

• 我能从列空间解释 $Ax=b$。
• 我能用秩识别冗余方向。
• 我知道近相关与严格相关不同。
• 我能用零空间解释多解，并区分满行秩与满列秩。

参考资料

核验日期：2026-07-14。

• MIT OpenCourseWare：18.06SC Linear Algebra
• MIT 18.06SC Syllabus：列空间、零空间、基与维数

上一节：向量、矩阵与形状｜下一步：线性变换与神经网络。