无监督学习入门
本节目标
你将理解无监督学习仍包含距离、尺度、簇形状和维数等假设，能用聚类/降维提出探索性候选，并通过稳定性、人工抽查与下游价值验证，而不是把算法分组直接当成真实标签。
没有标签不等于没有假设
无监督学习不使用目标标签，但会依赖距离、密度、簇形状或低维结构等假设。结果适合探索与生成候选，不应自动当作业务真相。
聚类
K-means 寻找 K 个中心，让样本到所属中心的平方距离尽量小。它适合近似球状、尺度相近的簇；需要预先指定 K，并且对特征缩放和异常值敏感。
在 Agent 工程中可用于把失败日志或用户查询分成主题候选。正确流程是：聚类 → 抽样阅读每簇 → 人工命名/合并 → 用新数据验证稳定性。簇编号 0/1/2 没有天然语义。
若聚类结果会影响路由、风控或人员处置，还要验证每个簇的覆盖范围、误分代价和可能的敏感属性代理变量；“无监督”不等于可以绕过数据最小化、访问控制或人工审查。
降维
PCA 找到保留最大线性方差的方向，常用于压缩、去相关和初步可视化。二维投影必然丢失信息；图上接近不保证原空间也同样接近。
对 Embedding 使用 t-SNE/UMAP 时尤其要谨慎：局部结构、随机种子和超参数会影响图形，漂亮的“岛屿”不能单独证明类别真实存在。
若无监督变换是后续监督模型的一部分，PCA、词表、缩放器和聚类中心同样只能在训练区 fit，再应用到验证/测试。没有标签不等于可以偷看测试分布；评估边界取决于最终决策问题。
如何评估
- 内部指标（如 silhouette）衡量当前距离定义下的紧密与分离，不代表业务可用。
- 稳定性：换随机种子、抽样或时间窗口，簇是否大幅变化。
- 人工解释：每簇样本是否有一致、可操作的主题。
- 下游价值：聚类是否帮助新增标签、修复流程或改善检索。
迷你练习
取 30 条 Agent 失败消息，先删除 ID、时间戳等捷径，再用 TF-IDF + K-means 分 3～5 簇。每簇抽 5 条，记录主题、混杂样本和是否值得建立新错误标签。
常见误区
- 把 K 设成已有部门数量，就认为算法会恢复部门边界。
- 不缩放数值特征，导致大单位字段支配欧氏距离。
- 只展示二维图，不检查原始样本。
- 用聚类结果训练分类器，却把它称为“人工真值”。
掌握检查
- 我能说出 K-means 对距离、尺度、簇形状和 K 的假设。
- 我不会把簇编号或二维“岛屿”直接当业务真相。
- 我会换随机种子、抽样和时间窗口检查稳定性。
- 我会抽查原始样本，并用下游价值决定是否保留聚类。
- 我知道无监督预处理也要遵守训练/测试
fit边界。
下一步：项目：工单意图路由。
参考资料
核验日期：2026-07-22。