通过对比分析法对数据进行环比、同比等多维度的评估，通过控制变量分析法减少未知干扰的误差，做到数据分析的相对科学，才能为业务提供正确的数据指导。

第一种：对比分析法

“无对比，不分析”，对比分析法也叫对比法，是数据分析中最常见也是最基础的分析方法，

如果我们对数据的评估和汇报缺少了对比，就无法说明效果是好还是坏。

1. 绝对数对比 与 相对数对比

首先我们需要了解绝对数对比和相对数对比：

• 在数据分析中，绝对数对比一般是指正数之间的对比，如支付人数、DAU、GMV等；
• 而相对数对比一般是相对数之间的对比，如转化率、增长率、完成率等。

如下图登录用户量的对比就属于绝对数对比，用户留存率的对比则属于相对数对比。

2. 环比分析

环比，表示连续2个统计周期内的量级变化比，例如连续两日、两周、两月的量级变化比，都可以称为环比。环比分析一般体现该时间段对比上个连续时间段的数据变化情况。

计算公式：环比增长率=（本期数-上期数）/上期数 × 100%

举个环比分析简单例子：我们在9月第三周针对50%的随机用户A群进行了活动营销激励，整体GMV环比第二周上升50%。

这里就是将第二周看做基准，默认第三周自然GMV为100万。通过活动营销激励后，第三周实际GMV为150万，对比第二周增长了50万，环比增长率为50%。

这个例子来说，如果在正常情况下，环比分析给出的50%增长，可以证明活动带来了明显的GMV增长，效果好像不错，但是环比分析结果也会存在骗人的时候，我们继续往下看下面的例子：

看到活动效果良好，我们在9月第四周又取了剩下的随机用户群B进行了活动营销激励，GMV环比第三周反而下降了7%。同样的激励策略，不仅没有得到环比提升50%的数据效果重现，反而下降了7%。

在这里就体现出了一个环比分析法的弊端：无法消除周期波动变化的影响。

原因是我们的产品在节假日前期数据波动特别大，仅通过该环比数据没有办法客观的进行运营效果评估。如9月第四周是国庆前的最后一周，用户的交易数据会有明显的下降，营销动作是很难提升GMV超过上周（上期）的量级水平，如果通过仅仅通过环比给出的数据结果，一定是本期对比上期环比下降x%。

遇到这种周期波动特别大的分析场景，则需要加入同比分析法，与环比分析法共同进行分析。

3. 同比分析法

同比，表示本期与上年同期的量级变化比，例如本日、本周、本月内的量级变化对比去年同日、同周、同月的量级变比。

计算公式与环比增长率相同：

同比增长率=（本期数-上期数）/上期数 × 100%

同样国庆前做活动的例子，通过环比分析，因为节假日因素波动，没有办法得到真实的营销增长情况，那么通过环比+同比分析，就可以对比出9月第四周对比上年同期的增长情况：

• 18年环比：18年9月第四周 环比 第三周，GMV下降20%；
• 19年环比：而19年9月第四周 环比 第三周，GMV仅下降7%，下降幅度小于去年下降水平；
• 19年同比：且19年9月第四周 同比 18年9月第四周，GMV上涨75%，而第三周的同比上涨仅为50%；

综上的环比与同比分析，我们可以对19年9月第四周的运营策略做出真实评估：有效的带来GMV增长。

此外，我们还可以根据18年9月第四周的环比降幅，预估19年9月第四周的自然GMV，从而评估19年9月第四周的GMV增长量为20万：

• 19年9月第四周GMV增长=实际GMV-自然GMV
• 19年9月第四周GMV增长=实际GMV-19年第三周GMV*（1+19年9月第三周同比增长率）
• 19年9月第四周GMV增长=140万-150万*（1-20%）= 20万

同比主要是为了消除可能存在的周期变动的影响，当连续两个周期波动特别大的时候，就不能只用环比去进行效果评估了，则需要将同比与环比放在一起进行分析。

那么同比和环比都用上了，就能保证数据结果的正确性吗？

不一定，接着上面的活动来说，我们预估2019年9月第四周的自然GMV，是默认2018年9月第四周是没有进行任何对GMV产生波动动作的自然环比下降，但如果2018年9月第四周有进行用户激励的运营动作，那真实的环比降幅可能就不止20%，甚至更高。

考虑到这种未知的干扰情况，影响我们对数据结果的评估与分析，我们就需要换一种能够减少未知干扰的分析方法——控制变量分析法。

第二种：控制变量分析法

1. 什么是控制变量法

控制变量法是在蒙特卡洛方法中用于减少方差的一种技术方法。该方法通过对已知量的了解来减少对未知量估计的误差。

控制变量法简单来讲，就是我们工作中最常见的A/B test。制定两种方案，将用户随机分成实验组与对照组，实验组用户进行产品功能或营销激励的单一变量干预，对照组不进行任何干预自然运行，一段时间后分别统计两组用户的数据表现，评估功能或激励效果。

A/B test 的优化内容主要有6个方向，可以根据不同的内容设计不同的优化方案，进行效果测试；

2. 控制变量法分析过程

我们以发放6元无门槛红包激励用户下单为例，看下A/B test在营销中分析过程；

1. 将目标用户群随机划分为实验组和对照组，每组各10万人，保证两组用户随机分布；
2. 将实验组进行单一变量营销，如发放6元无门槛红包，对照组不进行营销，用于观测自然转化情况；
3. 观察一段时间内的转化率及客单价数据，评估支付人数提升与GMV提升效果；

提升支付人数：对实验组进行干预后提升了转化率，实际提升支付人数2000人。

GMV提升：将提升的支付人数结合客单价进行计算，统计最终的GMV提升40万。

3. 特别注意两点

通过ABtest只能减少未知情况带来的干扰，无法做到完全排除未知情况带来的干扰，所以在落地的过程中，仍有两点需要特别注意，不要被数据欺骗：

（1）实验组与对照组的用户群样本量太少

实验组和对照组的样本量不需要完全一致，但至少需要保障一定的量级，如果样本量级太小，很容易受到个体的影响，导致结果异常。

若想降低个体影响可以参考以下两种方案：

• 扩大试验样本：提高实验组或对照组的用户群，降低个体影响；
• 延长试验时间：将数据监控的时间延长，让数据结果尽可能的收敛；

（2）实验组和对照组的用户群没有做到绝对的随机

例如，产品或技术同学通过尾号单双来进行实验组和对照组的划分，进行产品新功能的实验。此时运营同学又针对尾号0和1的用户进行营销测试，最后肯定会导致双方的实验结果异常，得出错误的结论。

参考方法：不要通过简单规则分组，尽量通过随机数或者随机序列进行随机分组。

总结

通过对比分析法对数据进行环比、同比等多维度的评估，通过控制变量分析法减少未知干扰的误差，做到数据分析的相对科学，才能为业务提供正确的数据指导。

以上是最近学习工作中的一些案例和心得分享，希望能给你带来一些思路！

本文由 @许金坤 授权发布于运营派理。未经许可，禁止转载。

题图来自Unsplash，基于CC0协议