一句话定义
Human Judge 是运行在 HumanCloud 网络之上的人类偏好判断层。它接收一个包含多个候选答案的请求，由分布式的真人节点按既定协议进行选择、打分或排序，并把结构化结果返回给调用方。
对调用方而言，它就是一次 API 请求；对用户侧而言，它是一次真实的人类判断。
它是怎么工作的
一次典型的 Human Judge 调用包含四个阶段。
- 任务下发。调用方通过 API 提交 prompt 与 2–N 个候选输出，并指定评估维度（有用性、真实性、安全性、风格偏好等）。
- 智能路由。调度系统依据任务语言、领域标签、难度等级，把任务分发给匹配的合格节点，支持多节点冗余采样。
- 人类判断。节点在限定时间内完成选择或打分，系统记录判断耗时、置信度与节点历史一致性。
- 结果聚合。通过加权投票与一致性检验输出最终结果，附带标注者画像、置信区间与原始明细，可追溯。
整个过程对调用方透明，返回体可直接进入训练流水线或在线评估看板。
与「普通数据标注」的区别
很多人会把 Human Judge 理解成又一个标注平台，这是最大的误解。二者的差别在于判断的实时性与主观性。
- 传统标注：任务规则明确、答案唯一、按批量交付，周期以天计。
- Human Judge：任务是开放式的主观选择、需要多元视角、要求分钟级返回，且结果带置信度。
换句话说，标注解决的是「这条数据是什么标签」，Human Judge 解决的是「这几个答案里哪个更好」——后者无法用规则手册离线定义。
三种典型应用场景
1. 训练期：产出高质量偏好数据。为 RLHF / DPO 训练生成成对比较数据，支持多语言、多领域，可指定标注者背景分布以获得多元偏好。
2. 评估期：替代离线评测集。在新版本模型发布前，用人类判断替代容易饱和的自动化 benchmark，得到更贴近真实体验的结论。
3. 在线期：为 Agent 提供兜底。当 Agent 面临高风险操作或多方案抉择时，向 Human Judge 发起一次人类确认，把不确定性交还给真实的人。
离线评测告诉你能不能跑，在线人类判断告诉你能不能信。
质量如何保证
人类判断最大的风险是噪声。HumanCloud 在网络层做了三层控制：
- 准入筛选。节点需通过领域资格测试才能承接对应任务，不同类型任务设有不同的准入门槛。
- 过程校验。任务流中混入已知答案的金标准题，用于实时监测节点一致性，偏离阈值的节点会被降权或暂停。
- 结果加权。最终聚合依据节点历史准确率、主观置信度与群体一致性进行加权，而非简单多数投票。
如何开始调用
Human Judge 面向企业提供标准 REST 接口，与调用任何云服务的方式一致。接入流程为：注册企业账号 → 获取 API Key → 在沙箱环境完成一次调用验证 → 切换生产环境并按量计费。
对暂不具备明确评估协议的企业，HumanCloud 提供评估维度模板与基线对照服务，帮助团队在两周内建立起第一版可用的偏好判断闭环。
常见问题 FAQ
一次请求最少需要几个候选答案？
最少 2 个（成对比较），推荐 2–4 个。候选过多会显著增加判断疲劳、降低一致性，建议通过前置的自动粗筛把候选收敛到 4 个以内。
支持哪些语言与领域？
覆盖主流语种，节点具备全球化分布。专业领域（医疗、法律、金融、代码）可指定具备相应背景的节点池，代价是可用节点数减少、延迟上升。
返回的结果可以直接用于训练吗？
可以。返回体包含结构化的偏好标注、置信度与节点元信息，可直接导入 RLHF / DPO 流水线。建议保留置信度字段用于样本加权。
与自建内部评估团队相比，成本差多少？
取决于任务规模与波动性。自建团队的固定成本（招聘、管理、闲置产能）通常被低估，而按需调用的成本随调用量线性变化，适合需求有明显波峰的业务。