AB 测试系统解决什么问题？

核心回答

A/B 测试系统解决的是：新策略上线后，业务指标的变化究竟是不是由这次改动造成，以及收益是否值得承担成本和风险。 它把符合条件的用户或其他实验单元随机分到对照组和实验组，在同一时期比较指标，并把分流、埋点、统计分析和发布控制做成可重复的流程。

直接比较“上线前”和“上线后”，会混入节假日、渠道流量、用户构成等变化。随机对照实验在设计假设成立、数据可靠时，能更有依据地估计这次改动的因果效果。

系统具体要解决哪些痛点

• 分组是否可比。 明确以用户、会话还是其他对象作为随机化单元，用稳定的分桶规则保持归组一致，避免同一用户反复跨组。多个实验并行时，根据相互影响关系设置互斥与分层；分到不同层不代表业务影响必然互不干扰。
• 数据是否完整。 记录分组、实际曝光和后续行为，统一指标分母、观察窗口与去重口径。先检查样本比例不匹配（SRM）、埋点丢失和版本串组，再解读效果；实际人数不必恰好等于配置比例，异常需要统计诊断。
• 变化是否超过随机误差。 事先确定主要指标、最小可检测差异、样本量、实验周期和停止规则，报告效应量及不确定性。每天看普通显著性检验，看到一次显著就停，会增加误判风险；需要预设固定终点或使用合适的序贯方法。
• 业务是否整体受益。 主指标可能是任务完成率，同时看错误率、延迟、成本等护栏。局部点击上涨，如果带来投诉增加或转化下降，就不能只凭单个正向指标推广。
• 能否复现和止损。 保存实验配置、版本、样本范围与统计口径，支持小流量试验、逐步放量和回滚，防止结果无法追溯或负向策略持续影响用户。

放到 AI 应用中怎么用

例如比较两个 Agent 版本，主要指标可以是“用户任务在约定条件下完成的比例”，护栏包括错误执行率、每任务成本和尾延迟。要固定或记录模型、提示词、检索库、工具和预算版本，使实验差异对应实际部署的方案；同一用户产生多次任务时，也不能简单把所有任务当成互相独立的用户。

假设两组各有 1000 名用户，对照组 100 人完成任务，实验组 120 人完成任务，完成率从 10% 到 12%，是提高 2 个百分点，相对提高 20%。这只是观测差异，还需要结合样本量、置信区间、实验有效性和护栏判断，不能据此直接宣布稳定提升。

预发布对照与线上 A/B 有什么区别

预发布环境可以让两个版本跑同一批输入，比较节点输出、错误类型、成本和耗时，定位串行流程中哪一步导致后续分歧。这适合回归和归因排查，但固定样本回放通常没有真实用户的随机流量，不能替代线上随机实验的因果结论。

合理的发布链路是：先用离线回放和预发布检查筛掉明显问题，再按预设条件开展线上实验，最后结合收益、不确定性与护栏决定是否推广。A/B 系统提供可信决策所需的证据，业务目标和验收条件仍需团队提前定义。

对应教程

参考资料