当前位置:首页 > 运营推广

手把手教你从0到1搭建AB测试系统(一)

时间:2019-05-07 23:42:05来源:运营推广作者:SEO探针小编阅读:94次「手机版」
 

ab测试

从图中可以看出,AB测试是对比两个或多个变体在同一地方好坏的方法,并且需要保证样本的同时和同质。

同时性:两个变体是同时投入使用的,而不是今天使用A变体,明天使用B变体,这样会有其他因素影响。比如,对于电商网站来说今天没有活动,而明天是双十一,在这个条件下我们不能判断变体B比变体A好。

同质性:两个变体对应的使用群体需要保证尽量一致。比如,想想一个极端场景:变体A里全是女性,变体B中全是男性,我们根本无法判断出来究竟是方案影响了最终效果还是性别。

为什么要使用AB测试?

先来看下最近挺火的一个概念:增长黑客

俗话说:人挪活,树挪死。互联网想要成长也得挪一挪,我个人理解增长黑客的核心就是:变。

观察力惊人的你一定还发现了增长黑客里边有个红色星星是干啥的?

增长黑客里叫北极星指标,他的作用是:

重点抓取;

明确优先级;

提高行动力;

北极星指标举例:

1. 管理后台

我们习惯定义每一个AB测试都属于一个独立的实验,方便管理和查看统计数据。

在管理后台当中可以创建、管理实验,还可以在实验进行中、结束后查看实验数据。

举例国外和国内分别做的比较好的AB测试平台的实验架构:

国外:Google 的 Optimize。Google的实验架构一共有五层:

为了方便计算,假设现在有12个人(Customer),我们给12个人进行编号,C1~C12;有6个桶(bucket)我们编号为B1~B6。

每个用户在访问实验时,会先进入到分流算法中,由算法来决定分到哪个桶里面,都分完后最理想的是每个桶里正好有2个人。(实际上基于大数定律原理,数据量越大分配的会越平均)

那么现在,假设每个变体的流量是50%,变体A我们假定对应的是三个桶B1、B2、B3桶,变体B也是对应的是B4、B5、B6桶。

实际上有没有发现,变体A选中的概率是50%,所以只要对应任意三个桶即可:

算法:保证分每个桶分到的越随机越平均越好。

节点:前端分流和后端分流

分流主体:Cookie、session

国内的AB测试一般采取的是Cookie分流,Google采取的是Session分流。

3. 结构数据

埋点方式:主要是数据的采集和上报

目前市面上常用的埋点方式为:代码埋点、可视化埋点、全埋点(或者无埋点)

数据仓库:埋点数据的清洗、计算、储存。

结构数据的准确性决定了,AB测试数据分析准确性,如果你所在的公司埋点没有搞起来,并且无法保证数据的准确性,我劝你还是不要做AB测试浪费时间 [尴尬又不失礼貌的微笑]。

4. 对接方式:业务方接入到AB测试的方式

对接方式更偏技术,但是从产品的角度需要知道不同方式对AB测试竞争力的影响。

如果是商用的AB测试软件SDK肯定是首选,因为你不可能每次都与业务方对接接口,并且SDK里面是会包含埋点的。

如果只是内部使用,并且是初步搭建AB测试系统,最好还是选取接口的方式,方便快捷并且比较稳定。

5. 从访问到产生实验统计数据的流程

上面是拆分了不同的模块做了简单的介绍,下面介绍一下用户从访问到产生实验统计数据的整个流程。

)

分享到:

栏目导航

推荐阅读

热门阅读