训练验证与调参
三类会变化的东西
- 参数（parameter）：训练算法从样本学到的权重。
- 超参数（hyperparameter）：训练前选择的设置，如正则强度、树深度、TF-IDF n-gram 范围。
- 决策阈值：把概率转成动作的门槛，例如风险概率超过 0.8 才拦截。
训练集学习参数；验证过程选择超参数和阈值；测试集只做最终评估。
基线先于调参
分类至少保留三类比较：
- 多数类或随机基线，确认模型确实学到了信息。
- 可解释的规则基线，反映当前业务方案。
- 简单模型基线，如 TF-IDF + 逻辑回归。
如果复杂模型只比基线高一点，却更慢、更贵、更难监控，未必值得上线。
交叉验证的直觉
K 折交叉验证把训练区分成 K 份：轮流用一份验证、其余训练，最后汇总 K 次结果。它减少一次随机切分的偶然性，但不能修复泄漏、重复样本或错误的分组单位。
调参应搜索小而有理由的空间。每尝试更多组合，偶然撞上验证集噪声的机会也会增加。记录：数据快照、切分规则、代码版本、依赖版本、随机种子、参数和全部指标。
若没有独立验证集，可在训练区内做交叉验证并据此选择方案；分组或时间依赖数据必须把对应约束带进每一折。较多轮的模型选择会使交叉验证均分也带有选择偏差，因此最终结论仍应来自预先封存的测试集，或来自新的时间/来源窗口。
阈值不是固定 0.5 的自然法则
概率模型常以 0.5 为默认分类阈值，但真实系统应按错误代价选择。例如高风险工具调用宁可多送人工复核，也不能漏掉越权动作；这会倾向高 recall。阈值必须只在验证区选择，然后在测试区确认。
校准与选阈值是两个问题：校准检查“给出 0.8 的样本长期是否约有 80% 为正”，阈值决定在何处触发动作。若使用校准器，它的拟合也必须只使用最终测试集之外、且与部署人群相近的数据；小而偏斜的校准集尤其容易给出不稳定的曲线。
学习曲线能回答什么
绘制训练样本数与训练/验证分数：
- 两者都低：特征不足、模型偏简单或标签没有可学信号。
- 训练高、验证低：高方差/过拟合，可加数据、正则或简化模型。
- 验证仍随样本增长：继续收集高质量数据可能有效。
练习
设计一个不超过 8 组的调参方案，目标是比较 ngram_range 和正则强度。写清主指标、次指标、分组划分规则以及何时停止继续试验。
掌握检查
- 能区分参数、超参数和阈值。
- 能解释交叉验证为什么只能在训练区进行。
- 能用学习曲线提出下一步，而不是盲目增大模型。
下一步：过拟合与泛化。
参考资料
核验日期：2026-07-22。