线性代数

知识库简介

线性代数是“如何表示方向、组织数据并变换一批数字”的语言。特征、模型参数、Embedding、检索得分和批量计算都可表示为向量、矩阵或更高维张量。本路线面向真正的初学者：先建立点积与距离直觉，再学习 shape、空间、线性层、投影和数值稳定性，最后用经过测试的标准库项目验证最小二乘几何。

在总路线中的位置

线性代数位于“数学与数据基础”阶段，是向量基础、机器学习、深度学习和 Embedding 的共同前置。它回答数据与参数如何组织、哪些方向独立，以及矩阵如何批量变换信息。

学习目标

• 手算点积、范数、距离与余弦相似度，并说明其语义边界；
• 读懂向量、矩阵、shape 与矩阵乘法；
• 用线性组合、列空间和秩解释方程是否可解；
• 从空间变换理解神经网络中的 $Wx+b$；
• 从投影理解最小二乘，区分代数拟合与统计结论；
• 用条件数和奇异值识别病态问题，并认识特征值、SVD 与降维的边界。

前置知识

会四则运算、平方根和一元一次方程即可；代码练习需要 Python基础 中的列表、函数和异常。无需先学微积分。向量检索的索引、阈值和评测会在 向量基础 继续学习。

推荐学习顺序

1. 坐标、点积、范数与相似度：从坐标语义和向量几何起步。
2. 向量、矩阵与形状：建立 shape 账本，区分矩阵乘法与逐元素运算。
3. 线性组合、方程组与秩：用列空间、零空间、基和秩判断信息与解。
4. 线性变换与神经网络：理解 $Wx+b$、批量方向约定和非线性作用。
5. 正交、投影与最小二乘：从几何理解拟合、残差与正规方程。
6. 数值稳定性与条件数：区分奇异、病态和算法不稳定。
7. 特征值、SVD 与项目：理解主方向与降维，并完成经过测试的最小二乘项目。

动手实践或项目入口

• 在 坐标、点积、范数与相似度 中实现并测试点积、范数和余弦。
• 在每一节为公式写 shape 账本，先判断“能否算”，再判断“算的是什么”。
• 进入 特征值、SVD 与项目，运行标准库最小二乘脚本和 8 项测试，验证残差正交，并实验秩不足、病态和离群点。

掌握标准

• 能写出向量/矩阵形状，并在计算前检查内维是否匹配。
• 能解释矩阵乘法是线性组合，而非逐元素相乘。
• 能用秩说明冗余特征或不可唯一求解。
• 能从投影解释最小二乘残差为何与特征空间正交。
• 能区分奇异、病态和算法不稳定，并说明为何不默认显式求逆。
• 能解释特征值、奇异值和 SVD 在降维中的用途与限制。
• 能用标准库拟合一元线性模型，解释输入契约，并通过正常模式、-O 和单元测试验证。

与其他知识库的关系

知识库	连接点
向量基础、Embedding	将点积、范数、归一化和矩阵批处理用于语义向量。
语义搜索	相似度、降维与索引阈值依赖向量几何和真实数据评测。
微积分基础	梯度决定矩阵参数怎样更新，链式法则贯穿复合变换。
机器学习	最小二乘、秩、条件数、正则化和 PCA 是基础工具。
深度学习	线性层、Embedding 表和 Attention 以矩阵/张量运算为核心。

主要参考资料

• MIT OpenCourseWare：18.06SC Linear Algebra
• MIT 18.06SC Syllabus
• NumPy：Linear algebra routines
• NumPy：linalg.lstsq
• PyTorch：torch.nn.Linear

核验日期：2026-07-14。MIT 课程用于稳定数学概念；NumPy 与 PyTorch 属于会变化的工程接口，本路线只记录本次核验所需语义，实际使用前应再次查看当前官方文档并记录版本。本机项目仅依赖 Python 3.11.9 标准库，不要求安装 NumPy 或 PyTorch。