人工标注了多少条评测数据？

核心回答

应先回答去重后的独立评测题数量，再说明其中多少用于开发、多少作为留出测试，以及人工怎样标注和复核。这个数字要和当时报告的指标分母对应，才能判断评测规模是否足以支撑结论。

数量要说清哪些口径

一份完整的说明至少包含：

• 数据规模： 初始收集多少条，清洗去重后保留多少条；统计单位是问题、对话、任务还是文档。
• 人工参与： 哪些是人工直接编写，哪些来自真实日志或合成后人工审核；标注的是参考答案、相关文档、工具调用还是任务成功标签。
• 集合划分： 多少条用于调试，多少条用于最终测试；同一文档、同一事件的近重复问题如何防止跨集合泄漏。
• 质量控制： 标注规则、复核覆盖率、分歧仲裁和版本记录；双人标注产生两份判断，不等于增加了两个独立问题。
• 场景覆盖： 常见任务、困难任务、无答案、歧义、工具失败等各占多少，是否覆盖真实业务分布。

例如，RAG 评测如果报告召回率，应说明分母是人工标注的相关文档或证据，如何处理一个问题有多个相关片段，以及是否固定了检索深度。不能把“人工看过多少份回答”与“有多少条相关性金标的问题”混为一谈。

多少条才够

没有适用于所有项目的固定条数。样本量取决于希望估计的指标、允许误差、要识别的提升幅度、场景差异和标注成本。几十条可以帮助发现明显缺陷，不能自动证明一个小幅提升稳定成立。

以独立、具有代表性的二元任务成功率为例，正态近似的 95% 置信区间半宽约为：

95%置信区间半宽 ≈ 1.96 × √[p̂(1−p̂)/n]

当 n=400、p̂=0.5 时，半宽约为 0.049，即 4.9 个百分点。这只是该统计假设下的精度示意；成功率接近 0 或 1、失败数很少时，应采用 Wilson 或二项分布等更合适的区间方法。用户或文档之间存在聚类相关时，也需要按相应单位分析，不能直接套独立样本公式。

同一批 400 道题，每道跑 5 次会得到 2000 次运行，能观察模型随机性，但仍然只有 400 道独立任务。要比较两个版本的小幅差异，还应利用同题配对结果和各场景的不确定性，不能只比较两个汇总百分比。

怎样扩大评测集更有效

先用覆盖主要场景的种子集确定标注规范，复核分歧较大的类别，再补充真实失败、长尾任务和分布变化中的新样本。代表性测试集用来估计业务总体表现，刻意收集的困难集用来暴露弱点；两者可以同时报告，但不能未经加权混成一个线上成功率。

模型可以辅助生成候选题、预标注或筛选待复核样本，以降低人工成本。高风险结论与争议样本仍需要可靠的证据和复核；用于校准模型裁判的人工金标，应与后续反复调试的数据区分开。

继续追问时，关键是能把“规模 → 构建与标注 → 指标分母 → 不确定性 → 当前覆盖缺口”连起来。比起孤立地报一个大数字，这条证据链更能说明评测是否有效。

对应教程

参考资料