摘要：订单转化率提升了，活动带来了增长，但这些成果究竟意味着什么？是业务的自然增长，还是资源投入的回报？如何判断这些变化是好是坏？本文将带你深入探讨数据分析中至关重要的一步——设定衡量基准。
订单转化率提升了，活动带来了增长，但这些成果究竟意味着什么？是业务的自然增长，还是资源投入的回报？如何判断这些变化是好是坏？本文将带你深入探讨数据分析中至关重要的一步——设定衡量基准。
数据分析常被说是个仁者见仁智者见智的工作，其原因是数据分析结果解读会因人的业务经验、认知、数据能力而异，得到结论和建议通常会以一定参考系为准判断业务进展的好坏，分析师需要站在客观角度评判事物好坏，既要对业务足够熟悉又要有公允的标准对结果衡量。如何定个好标准变得尤为重要。
一般情况下，我们通常会面临这样的问题，如订单转化率从3%提升到5%，或者活动带来的订单增长了15%，是多还是少？我们常在汇报上听到这样的字眼，而单独看这个数字不足以说明情况，很多时候增长的数字一部分是业务自然增长带来，也有时是投入了大量资源之后带来的增长。因此在介绍变化时，需要选择一定的对比基准。
横向：同类型业务 行业平均水平、标杆水平纵向：业务自身历史平均水平、同期水平、最好水平、近期平均水平平行：AB实验中，对照组指标水平以上对比基准的具体应用场景：
1. 同类型业务 行业平均水平、标杆水平
业务或产品本身是新的，做市场规模预估，历史没有参考数据可依赖。确定业务在市场中份额，判断是否开展新的业务。判断现有经营状况，根据对比行业相同或相似产品用户需求变化趋势，判断自身经营情况，从而调整市场竞争策略。主要解决的问题：横向对比，确定市场地位，辅助判断业务趋势是否正常。
2. 业务自身历史平均水平、同期水平、最好水平、近期平均水平
年度规划和预算目标制定。尤其在具有周期性季节性的业务中，历史数据具有更大的参考意义。项目目标制定和复盘。某些活动如早期的双11，反映的是一年中的峰值，同时也是一种需求极限探测，为次年的目标做了基线探测。长期业务经营监控。看当前业务发展趋势是否符合周期性，增长趋势快速还是缓慢，判断业务所在生命周期。主要解决的问题：业务自身随时间推移的增长变化。
3. AB实验同期对照组水平
用户分流AB实验。随机分流用户，一组用户看到新策略或新版本，另一组可用用户看到原始版本，对比哪组效果更好。不同地域AB实验。有些策略由于供给侧不能独立拆分给实验组和对照组，会存在供给侧的不均衡。一般采用相似或组合群组地域方式筛选相似AB组来实验。对比方式同用户分流AB实验。主要解决的问题：同时间、同外部环境等情况下的两组不同的策略表现。
说了一些常规的对比基准，再讲一类特殊且经常看到的对比基准。
例如，电商平台某个品类做活动，这段时间该品类根据上面描述的对比基准2下的收入、订单量均有明显提升，同时根据对比基准1也发现该品类在他竞对的订单等有所下降。在这种情况下，可以判断这个品类增长良好要继续投入吗？
显然这并不能下结论，有几个问题并没有回答：
这个品类收入增加，其他品类变化如何？是否会存在相互挤兑？这个品类的增加是一直持续增加？持续多久会达到天花板？这个品类增加是否让整体收入增加？局部变好而是否全局变差？因此，再来重新看使用基准1和基准2的限定条件，即进行大盘对比时是合理的，而局部对比变化需要放在大盘中对比才能说明其作用，而更多情况下我们更希望是局部的增长不会影响其他部分，这样的增长才是良性健康的增长。通常情况下进行实验能一部分解决该类问题。
整体下的维度拆分对比，更多是对整体表现进行事实描述，而不能当做判断依据做决策。
来源：人人都是产品经理