RLHF 偏好数据为什么难做：一套可落地的人工判断流程

偏好数据的质量瓶颈通常不在模型，而在人。同一对回答，不同标注员给出相反排序是常态。若直接把结果喂给奖励模型，学到的往往是标注员的个人偏好分布，而不是产品想要的价值观。

把主观判断拆成可勾选的维度

我们把「哪个更好」拆成事实正确性、指令遵循度、安全性、表达质量四个独立维度，每个维度单独判断，再按任务给定的权重合成总排序。拆解之后，分歧点可以定位到具体维度，复核不再需要从头重读一遍回答。

共识样本与标定环节

每批次开始前用一组共识样本做标定：全员独立标注，统计分歧，讲评分歧样本，再进入正式批次。这一步能把批次内一致性显著拉高，也让新标注员的上线时间可预期。

刻意保留分歧

并非所有分歧都要消掉。对于价值取向上的合理分歧，我们保留多标注结果并打上标记，交给客户决定是否作为软标签使用，避免用仲裁把有效信号抹平。

可追溯优先于漂亮指标

每一条排序都要能回溯到：谁标、依据哪条规范、是否经过仲裁、属于哪个标定批次。缺少链路的高一致率，往往只是规范一起被误解的结果。