S07 SERVICE DETAIL
质量评测与模型验收
「准确率 99%」这句话如果没有说明抽样方式、类别分布和判定标准,基本没有信息量。真正有用的是:哪一类错得多、错在哪种边界、下一批怎么改。
一句话回答
质量评测是用可复现的评测集和一致性指标衡量数据或模型是否达标,核心手段包括黄金集、盲测集、标注者一致性分析与分层抽检,输出可归因的缺陷报告而非一个笼统分数。
「准确率 99%」这句话如果没有说明抽样方式、类别分布和判定标准,基本没有信息量。真正有用的是:哪一类错得多、错在哪种边界、下一批怎么改。
我们提供的是可复核的评测:同一套黄金集、同一套判定口径,不同批次之间的结果可以横向比较,也能用来验收供应商。
TASKS
具体能标哪些任务
下列任务是常见形态,实际类别体系按项目定制,支持小批量试标后再放量。
标注规范文档输出把类别定义、边界规则、判定优先级写成可培训、可执行的文档。
黄金集 / 盲测集构建构建带标准答案的评测集,用于日常抽检与供应商横向对比。
标注者一致性分析计算一致率与 Kappa,定位分歧集中的类别与规则条目。
抽检与仲裁复核分层抽样复核,争议样本进入仲裁队列并形成结论记录。
缺陷归因报告按错误类型归类(漏标、错类、边界、ID 断裂),给出改进动作。
持续回归评测模型或规范迭代后重跑同一评测集,观察指标是否真的提升。
DELIVERABLES
交付物与验收标准
每个批次都带可核对的产出,验收指标在合同附件中逐项约定。
随批次交付
- 评测方案(抽样设计、指标定义、判定口径)
- 黄金集与盲测集(含标准答案与难例说明)
- 一致性分析报告(类别级指标与分歧样本)
- 缺陷归因报告与下一批次改进建议
验收口径
评测可复现同一数据集重跑结果一致,评测脚本与判定规则随报告一并交付。
指标可解释指标按类别拆分,避免整体均值掩盖长尾类别的严重问题。
分歧可定位每处不一致都能追到具体规则条目,而不是笼统归因为「标注员水平」。
改进可验证改进动作执行后,用同一评测集复测,量化提升幅度。
FAQ
质量评测与模型验收常见问题
没覆盖到的情况,把样本与验收口径发过来,我们在试标阶段逐条确认。
Q01可以只做质检、不做标注吗?
可以。我们承接对第三方标注结果的复核与验收,输出缺陷分类、返工范围与是否达标的明确结论,用于供应商管理场景。
Q02准确率一般要求多少?
没有通用标准,取决于任务难度与模型容错度。我们建议在规范阶段就把验收指标写进合同,用分层抽样和类别级阈值代替一个笼统的总体准确率。
Q03一致性指标用哪个?
分类任务常用 Cohen's Kappa 或 Fleiss Kappa,连续打分用组内相关系数;指标只是手段,关键是看分歧集中在哪些类别和规则上。
RELATED
相关服务与实践文章
单项服务通常与其他环节组合使用,这里给出最常见的搭配。
NEXT STEP
先做一次试标,再谈长期合作。
发来样本数据与验收口径,48 小时内给出规范草案、排期评估与报价测算。