偏导数与梯度

本节目标

你将从“每次只改变一个坐标”理解偏导，把偏导组织成梯度，并用方向导数和多变量局部线性近似判断一个小步怎样改变损失。还会认识 Jacobian/Hessian 的 shape 与用途边界。

多参数函数

模型损失通常依赖成千上万个参数：$L(w_1,w_2,\dots )$。偏导数研究“其他变量暂时固定，只改变一个变量”的局部变化率。

若：

$f(x,y)=x^2+3xy+y^2$

则：

$\frac{\partial f}{\partial x}=2x+3y,\frac{\partial f}{\partial y}=3x+2y$

在 $(1,2)$，两偏导分别为 8 和 7。

偏导里的“其他变量固定”是数学操作，不代表现实变量真的能独立改变。若参数受约束或彼此由同一变量生成，应先写出实际参数化，再用链式法则求沿可行方向的变化。

梯度

把所有偏导排成向量：

$\nabla f=\left[\begin{array}{c}\partial f/\partial x\\ \partial f/\partial y\end{array}\right]$

梯度指向局部增长最快方向，负梯度指向局部下降最快方向（以欧氏长度衡量）。方向 $u$ 上的方向导数：

$D_{u}f=\nabla f^{T}u,\Vert u\Vert =1$

这把微积分和点积连接起来。

对小扰动 $\Delta x$，多变量局部线性近似为：

$$f(x+\Delta x)\approx f(x)+\nabla f(x{)}^T\Delta x$$

若限制 $\Vert u{\Vert }_2=1$，方向导数在梯度方向取得最大值 $\Vert \nabla f{\Vert }_2$，在负梯度方向取得最小值。这个“最陡”依赖欧氏度量和坐标尺度；重新参数化后方向会变。

等高线直觉

等高线把函数值相同的点连起来。梯度与光滑等高线垂直，因为沿等高线移动函数一阶不变。损失地形中，负梯度跨过等高线走向较低值。

Jacobian 与 Hessian 的最低认识

• 向量输出对向量输入的一阶导数组成 Jacobian。
• 标量函数二阶偏导组成 Hessian $H$，描述局部曲率。

若 $f:{\mathbb{R}}^n\to {\mathbb{R}}^m$，Jacobian shape 为 $m\times n$；若 $L:{\mathbb{R}}^n\to \mathbb{R}$，Hessian shape 为 $n\times n$。工程中通常计算 Jacobian-vector 或 vector-Jacobian product，而不是显式构造巨型矩阵。

初学不必手算大型矩阵，但要知道：反向传播在高效计算一类 Jacobian 乘积；曲率影响学习率和优化难度。

在 ML/Embedding 中的用途

• 梯度决定权重、Embedding 表中的相关行如何更新。
• 对 query embedding 求梯度可分析哪些方向影响相似度，但“梯度大”不自动等于因果重要。
• 对抗扰动利用输入梯度寻找小变化造成的大输出变化，说明局部敏感性。
• 评测指标如准确率不可微，训练常用可微 surrogate loss。

可验证例子

在 $(1,2)$ 沿单位方向 $u=(1,0)$，方向导数为 8；沿 $u=(0,1)$ 为 7。沿负归一化梯度迈很小一步，应使 $f$ 降低。可直接代入 $ϵ=0.001$ 检查。

常见误区

• 偏导存在不必然保证函数处处可微；工程常见光滑函数通常问题较少。
• 梯度大小受参数尺度影响，不同单位不可直接比较。
• 梯度是局部信息，不保证一步到全局最优。
• 梯度为零可能是鞍点。

练习与自测

1. 求 $f(x,y)=(x-2{)}^2+2(y+1{)}^2$ 的梯度和最小点。
2. 解释 feature scaling 为什么会改变损失等高线形状和优化速度。
3. 在 $(1,2)$ 将梯度归一化，验证该单位方向的一阶增长率等于梯度范数。
4. 写出 $f:{\mathbb{R}}^3\to {\mathbb{R}}^2$ 的 Jacobian shape，以及标量损失对 3 个参数的梯度 shape。
5. 举一个受约束参数例子，说明“固定其他坐标”未必是可执行干预。

• 我能计算简单梯度。
• 我能解释方向导数是梯度点积。
• 我知道梯度与参数尺度有关。
• 我能写出多变量局部线性近似和 Jacobian/Hessian shape。
• 我知道梯度是局部、依赖坐标和度量的信息。

参考资料

核验日期：2026-07-14。

• MIT OpenCourseWare：18.02SC Partial Derivatives

上一节：函数、极限与导数｜下一步：链式法则与反向传播。