管理进化

a/b测试是什么意思


a/b测试是一种新兴的网页优化方法,可以用于增加转化率注册率等网页指标。a/b测试其实是一种“先验”的实验体系,属于预测型结论,与“后验”的归纳性结论差别巨大。

什么是A/B测试

A/B测试是一种新兴的网页优化方法,可以用于增加转化率注册率等网页指标。AB测试本质上是个分离式组间实验,以前进行AB测试的技术成本和资源成本相对较高,但一系列专业的可视化实验工具的出现,AB测试已越来越成为网站优化常用的方法。

A/B测试其实是一种“先验”的实验体系,属于预测型结论,与“后验”的归纳性结论差别巨大。A/B测试的目的在于通过科学的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的实验结论,并确信该结论在推广到全部流量可信。

A/B测试如同GitHub、Docker、APM一样在美国市场已经被各类企业逐渐采用,相信在中国也能被广大开发者所接纳,其测试范围也不仅仅局限于网页优化,移动端的A/B测试需要同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java),相对于Web端的A/B测试,移动端的技术难度与复杂度都要高得多。

A/ B测试需要注意三点:

任何测试都只是手段而非目的

A / B测试不是要让你用最新的技术、最新的软件或者算法,大部分时候一个纸上的原型或者线框里5秒钟的测试都能帮你的网站制作找到方向。好好利用那些简单、低廉的测试方式。

客观对待网站测试过程

不要让你的直觉推翻了测试结果。在A / B测试的结果往往是令人惊讶的或直观的。在一个绿色为主题的网站,一个明显的红色按钮有可能成为赢家。即使红色按钮不容易吸引注意。您要测试的目标是一个更好的转换率,而不是美学。

版本测试应注意样本大小

还有一点需要注意的是,A/B 测试的页面必须有较高的 UV (Unique Visitor,独立访客数),因为分流带有一定的随机性,如果页面 UV 太小,分到每一个版本的人数就更少,结果很有可能被一些偶然因素影响。而 UV 较大时,根据大数定理,我们得到的结果会接近于真实数据。

智齿客服