机器学习
知识库简介
机器学习让程序从样本中归纳可复用的预测规则，而不是把每种情况写成 if/else。对 AI Agent Engineer，它主要用于意图路由、风险分类、检索与排序、异常检测以及评测数据分析。本库先建立一条可以真正完成训练与评估的主线，再把损失函数、优化器、Transformer 与 Mamba 作为深度学习衔接参考；后四页不替代主线中的数据边界、基线与评估。
在总路线中的位置
这是“数学与数据基础”阶段的推荐工程背景，不是 Embedding、Reranking、RAG 或评测体系的完整课程硬门。开始前应会基本 Python、JSON/CSV；概率统计和线性代数可以边用边补。可以先进入具体 Agent/RAG 项目，再在遇到数据划分、基线、排序指标或误差分析问题时按需补学本课；先完成这条短主线会让后续判断更稳。
学习目标
- 区分监督学习、无监督学习以及分类、回归、聚类任务。
- 正确划分数据，识别数据泄漏与分布漂移。
- 把清洗、特征变换和模型装进同一条可复现 Pipeline。
- 用与业务代价匹配的指标评估模型，而不是只看 accuracy。
- 独立完成一个小型文本意图路由项目并解释错误样本。
前置知识
- 能在 PowerShell 7 中创建
venv、用pip安装包和运行 Python 3 脚本；建议先完成 Python基础。 - 理解表格的“行是样本、列是字段”。
- 知道均值、比例和向量的大致含义即可；不熟悉时可回看 概率统计 与 线性代数。
推荐学习顺序
- 任务类型与完整流程：先把问题、数据、模型与交付物放进同一张地图。
- 数据划分与数据泄漏：建立任何实验都不能跳过的评估边界。
- 特征与预处理管线：把原始字段变成模型能消费的特征。
- 训练验证与调参：理解训练、交叉验证和超参数搜索的职责。
- 过拟合与泛化：学会判断模型是在学习规律还是记忆训练集。
- 指标基线与误差分析：让指标服务于真实风险与成本。
- 无监督学习入门：用聚类和降维探索没有标签的数据。
- 项目：工单意图路由：贯通数据、Pipeline、评估与错误分析。
深度学习衔接参考
- 损失函数：从 logits、标签和训练目标理解常用损失；先区分单标签、多标签与回归。
- 优化器：理解参数更新、学习率与 weight decay 的职责；具体框架参数必须以当前 API 为准。
- Transformer 模型：现代 LLM 的关键序列架构，建议先完成 深度学习 中的训练闭环与注意力主线。
- Mamba 模型：选择性状态空间模型的长序列路线；用于理解架构取舍，不是一般 Agent 应用的前置条件。
动手实践或项目入口
主项目使用 ticket_router.py 与 test_ticket_router.py，数据直接写在脚本中，不下载数据、不需要 API key。它比较多数类基线与字符级 TF-IDF + 逻辑回归 Pipeline，打印宏 F1、混淆矩阵和带置信度的错误样本。依赖锁定在 requirements.txt，完整命令及验收见 项目：工单意图路由。
掌握标准
- 能用自己的例子解释特征、标签、参数、超参数和预测。
- 能说明训练集、验证集、测试集各自只能做什么。
- 能指出“先对全量数据标准化再划分”为什么泄漏。
- 能为类别不平衡任务选择 precision、recall 或 F1，并说明代价。
- 能用
Pipeline训练、保存配置并复现实验结果。 - 能查看错误样本，提出数据、特征或阈值层面的改进，而非只换模型。
- 能运行普通模式、
python -O、-W error和 10 项测试，并解释 0.667 accuracy 为什么不是上线证据。
与其他知识库的关系
- 数据清洗决定输入是否可信：数据清洗。
- 数据标注决定监督信号是否一致：数据标注。
- 图表帮助发现分布、过拟合和错误模式：数据可视化。
- Embedding 与 Reranking 会复用相似度、训练/测试边界和排序指标。
- 深度学习 在这里的训练/验证/测试、损失与优化概念之上讨论神经网络、注意力和 Transformer；两门课都不能把训练损失当作上线证据。
- Agent 的路由器、安全分类器和离线评测器都可视为机器学习组件，但生成式 LLM 不等同于传统监督分类器。
主要参考资料
核验日期：2026-07-22。本轮以 scikit-learn 1.9.0 官方文档为课程 API 基线；stable 页面和 API 会随发布更新，项目用 requirements.txt 锁定直接依赖版本，升级前应重跑测试并阅读变更记录。公平性、隐私和部署风险在本课只作为工程风险边界讨论；适用的法律、领域规范和组织政策仍须另行确认。