质量评测与人工评审
本节目标
把“好图”拆成任务相关、可复核的维度，理解自动指标为何不能替代人工判断。
先定义任务级评分表
建议每张候选按 1～5 分分别评：
- 提示遵循：主体、数量、关系和禁止项是否满足；
- 构图可用性：焦点、安全区、裁切和下游版式；
- 视觉完整性：形状、肢体、纹理、透视、光照是否自洽；
- 文字/事实正确性：逐字符、数字、图表和品牌信息；
- 身份与编辑保持：参考主体、保护区和未编辑区域；
- 安全与权利：敏感内容、人物同意、商标、
source_revision、对象级授权/ACL 和撤权/删除传播状态； - 事实声明边界：画面若被用于外部事实性陈述，是否有独立证据使该陈述达到
evidence_supported； - 多样性：候选是否提供真正不同、仍满足约束的方案。
硬约束应作为“通过/失败”门槛，而不是被平均分掩盖。例如品牌名错误，即使画面漂亮也不能发布。
自动指标能回答什么
FID 比较一组生成图与一组参考图在特征分布上的距离，适合研究中的集合级比较，不适合给单张图打业务合格分；它依赖样本量、参考分布和特征实现。LPIPS 衡量两张图在深层特征中的感知距离，适合编辑保持或重建比较，但“距离近”不等于语义正确。图文相似度可辅助提示遵循，却可能忽略数量、否定、文字和空间关系。
因此指标是诊断信号，不是完整裁判。更换编码器、预处理或数据集后，分数不能直接横比。
人工评审设计
对模型或提示版本比较，先在读图、OCR、评分或交给评审者前执行对象级授权/ACL，再采用随机顺序、隐藏系统名称的成对评审。每个样本至少记录任务 ID、source_revision、transform_id、候选 A/B、维度选择、失败标签和备注；批准发布时另记录 release_id。若多评审者意见分歧，先检查评分定义和样例锚点，而不是只算平均数。
建立失败标签，如 wrong_count、text_error、identity_drift、unsafe、layout_overflow。标签帮助 Agent 决定下一步：提示改写、任务拆分、后期修复或直接拒绝。
最小回归集
覆盖横/竖版、单/多主体、中文文字、参考编辑、透明/格式、敏感边界与典型品牌布局。模型或供应商更新时，用相同任务和盲评规则重新运行；保存请求和样本选择方法，但不要将受限媒体放进公开仓库。
常见错误与排查
- 只挑最好样本：同时报告尝试次数和失败率。
- 用一个总分：保留各维度及硬失败原因。
- 评审者知道模型：会引入预期偏差；随机化并匿名。
- 以 OCR 通过证明排版正确：OCR 不检查字体授权、层级或可读性。
- 先评分后查权限：一次高分不能补救未授权读取；撤权后应让关联候选和评分产物停止可访问。
- 将生成画面视为事实证明：内容凭证、相似度和评审分都不自动使外部陈述
evidence_supported。
练习与自测
为“电商商品主图”设计 6 个维度、3 个硬门槛和 8 个失败标签。说明为什么不能用 FID 判断一张商品图是否品牌合规。
下一步：安全、版权与内容凭证。
参考资料
- GANs Trained by a Two Time-Scale Update Rule（提出 FID）
- The Unreasonable Effectiveness of Deep Features as a Perceptual Metric（LPIPS）
- CLIPScore（指标适用边界需结合任务理解）