函数、极限与导数

本节目标

你将从区间平均斜率出发理解极限和导数，用导数做局部线性近似，识别连续但不可导、左右导数不一致和离散跳变，并知道数值差分为什么需要合适 step。

函数是输入到输出的规则

$y=f(x)$ 表示给定输入 $x$ 得到输出 $y$。ML 中 $x$ 可是参数、$f$ 可是损失；检索中阈值变化会改变召回率。先明确输入、输出和定义域，再谈变化。

从平均变化率到瞬时变化率

区间 $[x,x+h]$ 的平均变化率：

$\frac{f(x+h)-f(x)}{h}$

让 $h$ 趋近 0，若极限存在，得到导数：

$f^{\prime }(x)={\lim }_{h\to 0}\frac{f(x+h)-f(x)}{h}$

它是函数在一点附近的局部斜率。若 $f(x)=x^2$：

$\frac{(x+h{)}^2-x^2}{h}=2x+h\to 2x$

所以 $f^{\prime }(x)=2x$。在 $x=3$，输入增加约 0.01，输出约增加 $6\times 0.01=0.06$。

极限讨论的是“靠近”而不是必须“取到”。函数在一点可导会推出该点连续，但连续不一定可导；$|x|$ 在 0 连续，左右斜率却不同。函数在一个点没有定义，也仍可能存在趋近该点的极限。

局部线性近似

$f(x+\Delta x)\approx f(x)+f^{\prime }(x)\Delta x$

这是梯度下降的核心直觉：若导数为正，向负方向小步移动通常降低函数。近似只在足够小邻域有效，步长大时高阶曲率不可忽略。

常用最小求导规则

$\frac{d}{dx}c=0,\frac{d}{dx}{x}^n=n{x}^{n-1}$

$\frac{d}{dx}(f+g)=f^{\prime }+g^{\prime },\frac{d}{dx}(cf)=c{f}^{\prime }$

乘积、商和链式规则按需要学习，不应仅背结果；可用差商检查。

ML 中还常见：

$$\frac{d}{dx}{e}^x=e^x,\frac{d}{dx}\ln x=\frac{1}{x}(x>0)$$

对数的定义域和数值稳定性必须显式处理。实际实现交叉熵时通常使用框架提供的稳定组合算子，而不是先算极小概率再单独取对数。

不可导与次梯度

$|x|$ 在 0 左斜率 -1、右斜率 1，因此普通导数不存在。ML 的 ReLU 和 L1 损失也有不可导点，实现会选择约定的次梯度或其他处理。少数点不可导不代表模型无法训练，但必须了解框架定义。

用途与误区

• 损失对参数的导数描述小改参数对损失的影响。
• 延迟-并发曲线的局部斜率可提示系统接近饱和，但观测噪声需统计处理。
• 阈值指标可能是阶梯函数，不能直接套平滑导数。
• 导数带单位：若 $x$ 用秒、$f$ 用成本，$f^{\prime }(x)$ 的单位是“成本/秒”；改用毫秒会缩放数值。

误区：导数为 0 不一定是最小值，也可能是最大值、鞍点或平坦区；导数存在不代表全局线性；数值差分的 $h$ 过大有截断误差、过小有浮点消减误差。

练习与自测

1. 用差商推导 $f(x)=3x^2+2$ 的导数。
2. 在 $x=2$ 用 $h=0.1,0.01,0.001$ 近似 $x^2$ 导数，观察趋近 4。
3. 分别求 $|x|$ 在 0 的左右差商，解释为何连续却不可导。
4. 给 $f(x)=\ln x$ 写出定义域，并说明靠近 0 时梯度和数值风险。
5. 把输入单位从秒改成毫秒，推导导数数值如何变化。

• 我能从差商解释导数。
• 我知道局部近似依赖小步长。
• 我不会把驻点自动当最小值。
• 我能区分极限、连续和可导。
• 我会检查导数的单位、定义域和数值 step。

参考资料

核验日期：2026-07-14。

• MIT OpenCourseWare：18.01SC Single Variable Calculus

上一节：变量、函数、图像与变化尺度｜下一步：偏导数与梯度。