微积分基础

知识库简介

微积分研究变化率与累积量。训练模型就是观察损失随参数如何变化，再沿下降方向更新；概率密度的区间概率则是累积面积。本路线从变量、函数图像和单位起步，逐步进入导数、梯度、链式法则、自动微分、优化和积分，并用经过测试的标准库项目验证梯度。目标是读懂训练过程和排查错误，不扩展成纯数学专业教材。

在总路线中的位置

微积分基础位于“数学与数据基础”阶段，在函数与线性代数之后衔接机器学习和深度学习。它解释损失如何随参数变化、梯度为何能指导训练，以及概率密度如何累积成概率。

学习目标

• 把工程问题写成含定义域、单位和固定条件的函数；
• 从差商理解导数与局部线性近似；
• 计算简单偏导和梯度，并解释方向导数；
• 用链式法则读懂反向传播；
• 区分符号求导、有限差分与自动微分，并完成梯度检查；
• 理解梯度下降、学习率、曲率、发散和停止条件；
• 认识积分在概率与期望中的用途。

前置知识

会函数代入、幂运算和直线斜率即可。建议先完成 Python基础 与 线性代数；梯度是向量，点积和 shape 会反复出现。本路线不要求先掌握严格极限证明。

推荐学习顺序

1. 变量、函数、图像与变化尺度：先定义输入、输出、单位和可观察的变化。
2. 函数、极限与导数：把导数理解为局部变化率和线性近似。
3. 偏导数与梯度：处理多参数损失、方向导数和曲率。
4. 链式法则与反向传播：沿计算图传递影响并累加分支。
5. 自动微分与梯度检查：区分 AD 与有限差分，识别 dtype、不可导点和状态风险。
6. 优化与梯度下降：理解学习率、曲率、batch、发散与停止。
7. 积分、概率与梯度下降项目：认识累积，并完成带 9 项测试的可验证训练。

动手实践或项目入口

• 在 变量、函数、图像与变化尺度 中扫描差分 step，先观察函数再解释导数。
• 在 自动微分与梯度检查 中手算一个二维梯度，并用绝对/相对容差验证。
• 进入 积分、概率与梯度下降项目，运行解析梯度与中心差分检查、普通/-O 模式和 9 项测试，再改变学习率与特征尺度观察收敛或显式发散。

掌握标准

• 能用差商解释导数，不只会背求导表。
• 能计算简单偏导并解释梯度方向。
• 能沿计算图应用链式法则。
• 能写出梯度下降更新并诊断学习率过大/过小。
• 能用有限差分检查解析梯度。
• 能区分反向传播、自动微分、优化器更新与业务评测。
• 能解释积分在概率和期望中的含义。

与其他知识库的关系

知识库	连接点
线性代数	梯度、Jacobian、Hessian、JVP/VJP 都依赖向量和矩阵 shape。
概率统计	连续密度、期望和累积分布使用积分；随机梯度需理解抽样波动。
机器学习	损失、正则化、梯度下降和验证构成训练流程。
深度学习	自动微分、反向传播、梯度消失/爆炸和优化器是核心。
Embedding、Reranking	微调或训练表示/排序模型时需要梯度，但线上阈值和指标可能离散。

主要参考资料

• MIT OCW 18.01SC Single Variable Calculus
• MIT OCW 18.02SC Partial Derivatives
• Google ML Crash Course: Gradient Descent
• Google ML Crash Course: Hyperparameters
• PyTorch：Autograd mechanics
• PyTorch：Gradcheck mechanics

核验日期：2026-07-14。MIT 用于稳定数学概念；Google 与 PyTorch 页面属于会变化的工程资料，本轮记录了当前语义和核验日期，实际使用框架前应复查版本。本机项目仅依赖 Python 3.11.9 标准库，不要求安装 PyTorch。