从设计到归因 - AB Test 实战心得

摘 要

前言 这是大Fei分享工作过程中,关于数据增长的系列文章,笔者(大Fei)在国内知名出海App任职数据负责人,有多年的相关工作经验,公众号的主笔与我亦师亦友,经常一同深究一些数

 

从设计到归因 - AB Test 实战心得



前言

这是大Fei分享工作过程中,关于数据增长的系列文章,笔者(大Fei)在国内知名出海App任职数据负责人,有多年的相关工作经验,公众号的主笔与我亦师亦友,经常一同深究一些数据背后的逻辑,此次旨在分享一些自己的实战和分析经验,供大家参考,并与大家一起交流成长。

作为数据增长实战分享的第一篇,我先从个人认为最重要的AB Test实战开始分享,而分享过程中涉及到重要且无法展开的,未来会慢慢再与大家讨论和分享。甚至我会和大家讲到一些数据平台的使用玩法比如神策、Firebase等。

== 关于AB Test ==

说到AB Test 大家都不会陌生,也是增长黑客概念流行以来非常热门的话题,我曾与业内经常做AB Test的朋友交流,也遇到过这类常见的问题

方案存在多变量,没有控制唯一变量,实验结果很难归因和解释

多组实验同时跑,不知道实验的变量相互干扰

不确定如何有效评估实验,提升多少算有效?

实验结果看起来有效果,上线后却效果不明显

实验结果看起来有效果,但不知道为何,无法归因出原因


我们最可怕的不是不知道要开展AB 实验,而是明知道要开展,却不知道如何科学开展或开展后面对数据结果一脸茫然。

== 如何科学开展实验呢 ==

首先,实验的过程可以简单分为三步

实验设计 - 包括实验的想法,背景,假设,方案,指标等

实验上线 - 包括实验AB功能,数据采集,测试和上线

实验评估 - 包括数据获取,对比分析,转化结果显著度,实验结果归因,结论,建议和计划


具体过程相信大家不会陌生,所以不会逐个介绍,下面我们重点聊聊整个过程可能常遇到的问题和经验教训,这也是我本次想分享的核心。

== 看似简单的实验设计,更需要重视 ==

1、实验想法拿数据做支持

• 记住不要光拍脑袋不分析数据,这是提高实验成功率的有效途径,否则你将会承担更高的实验风险,要么实验没有效果,要么实验效果下滑,这些都是浪费资源的做法

• 公司不会有那么多时间和资源投入到一个又一个失败的实验方案中,因此想法很重要,但更重要的是参考、分析,为你的实验想法提供数据依据,拿数据说话

• 真实的情况是,我们完全可以拿数据否掉很多不靠谱的想法

• 由于本次分享的内容侧重点,这块内容以后的机会再分享

2、实验目标说清楚,写下来

• 清晰的实验目标能够让方案聚焦,也避免评估结果的相互扯皮

• 如果团队有人想要收入,有人想要留存,这往往打架的实验目标会造成后续的一系列麻烦

---

经历:

我们曾遇到过一个实验对于收入的效果非常显著,但却损害了用户体验,导致用户认为应用收费性质过强而流失,但团队一致认为当前收入最重要,且通过数据验证了流失的用户均是较为低质的活跃用户,对长期留存来看并无意义,只是短期留存不好,DAU会下滑。

但团队中有人则认为前期的活跃用户更重要,不想流失用户和DAU下滑,这个就团队在前期没有确定一个一致的目标造成,最后的结果则是非常不欢,方案也没有上线,非常打击团队的信心。

我们不要总期待鱼和熊掌兼得,那是可遇不可求的,我们也正是一直在方案的利弊中,学会权衡并决策前行,这才是可贵的成长和经验,我们总要学会抛弃芝麻捡西瓜,把目标定下来,会更利于我们的决策。

---

3、实验方案设计

• 清楚了解自己的实验目标,设定测试中想要测试的变量

• 尽量避免要评估的方案存在多变量的情况,控制唯一变量,有利于得到更多实验信息

• 分组设计会是另一个重点,我们放在后面来讲

---

经历:

我们曾犯过这类错误,上线一个新的付费页面,但我们实验设计前期没有想清楚可以评估和实验的变量,导致我们只控制了展不展示该页面,但该付费页面我们换了新商品,更换了SKU组合,更换了商品的折扣属性,页面也放置在用户完成关键动作后出现。

不难想象,我们最终只得到了一个大而全的策略结果,而不知道页面里面的变化能起到的关键作用,因此我们浪费了一次机会,丢失了本可以获取的实验信息。

---

这个过程就好比如下,同时修改了颜色和文案那样,我们无法知道颜色和文案分别的影响