如何从海量线上日志构建有限评测集，随机抽样有什么不足？

知识专题：评测体系与实验设计题目类型：方案设计技术难度：深入

相关面经：2 篇题集来源：2 个

未标记

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI

Kimi 千问 ChatGPT

本题目录

相关面经

2 篇

CVTE

应用开发工程师

2026-10-25校招秋招一面

查看原面经 →

标准测试 Case 包含用户描述、系统日志文件等，还涉及多维度权重和人工复核。这几个部分的标准、评分维度（量表）以及流程是如何设计的？标准 Case 模版是怎么跟业务工程团队对接收集的？

字节跳动

AI 评测工程师

2026-07-03二面

查看原面经 →

追问

追问一：线上 log 是海量的，怎么转化成有限的线下评测集？直白的方法是随机抽样，但随机抽样为什么不行？

收录题集

2 个来源，共2 份题集

数学统计与逻辑

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【大样本抽样方法】当日志量比较大的情况下采取什么样的统计学方法能够以尽量少的样本使得不丢失过多信息？「百度」

评估与全局观：怎么量化 Agent 好坏、落地最大挑战

Onefly · zero2Agent · 1 条原题

查看题集 →

- 线上 log 是海量的，怎么转化成有限的线下评测集？随机抽样为什么不行？