热烈祝贺幼*女在线服务器升级完毕,全固态硬盘,50G超大带宽,满足你的 一切数据查看需求!

公告:郑重承诺:资源永久免费,资源不含任何联盟富媒体弹窗广告,只有三次走马灯水印广告(承诺绝不影响用户体验)


当前位置
首页  »  吆喝科技  »  墨迹·AB测试 | 告别“拍脑袋” 用数据做产品决策
作者:墨迹-向超群

摘要: 日常撕逼还需A/B测试傍身~

从数据角度,这是一个常谈常新的话题,有些人口头上说得是数据角度,但是却始终不明白怎么样做一些数据分析,怎么样用一些外面的工具促使我们产品的增长的过程。我本身是做数据分析的,做咨询行业,做市场调研。做这一行靠什么吃饭——逻辑。逻辑最根本的问题是什么?其实,是基于若干个前提,通过一系列的推导得出一个结论,这个结论要么是你想要的结论,要么是老板想要解答的问题。

但是,在逻辑实现的过程中会有很多的问题,最根本的问题就是信息的不充分,信息的不足,我们讲到我有两个前提推导出一个结论,但是对这两个前提到底是怎么样,我们本身都不太确定,所以这个时候就很尴尬,不管是我们老板还是别人,还是谁跟你撕B的时候就会说你不严谨。

对于我们靠逻辑吃饭的人最受不了的就是别人说你不严谨,这个也是我们为什么要做AB测试以及使用很多的外部工具的原因。最主要的就是让我们拿到不同的数据源做各种分析,充实你的前提、假设,只要你保证你从两个前提到一个结论分析的过程不出问题,整个事情应该就是一个严谨的过程,所以这是从我们讲数据分析的角度讲,我们为什么要做AB测试。

当你做一个事情做深之后,你会发现很多事情都是相通的,逻辑这个东西不光是产品经理用到,你做数据分析要用到,做律师可能也会用到,大家看律师写的法律文件都是非常严谨的,如果不严谨那他就挂了。

PMCAFF的德叔讲到任何事情只要你有三年的实践,每一个过程中间你去思考,你会融会贯通,举一反三,最后得到的东西就是不一样的东西。市面上的干货或者是不干的货,该看得看,但是更多是你看完之后怎么样思考,怎么样使那些东西为你所用,最后不管是做产品经理,数据分析,律师都会有比较多的用处。

今天主要从三个方面帮助大家梳理这个逻辑过程:

  • 第一是AB测试和产品决策的关系;

  • 第二是互联网行业的核心指标及其之间的关系;

  • 第三是产品经理的数据Sense。

1

A/B测试与产品决策

为什么要用第三方A/B测试

为什么要做AB测试?已经说了,有很多的坑。讲一个故事,做AB测试之前跟吆喝科技接上头之前,很多人会提很多的需求让你证明这个问题,或者证伪这个问题,但是你拿到这个问题的时候往往会发现没有数,我们以前的做法是发测试包,等你包在某一个渠道发完之后,拿着数据找别人说的时候,他会问你这个渠道和另外一个渠道有什么差别,怎么样证明不是这个渠道单独的问题,当时就傻B了。

即使还有一些你可以同渠道去比,我这个渠道其实有两部分,一个是最新的版本,还有一个是以前的,他会再问你以前的那个是不是伪量留下来的结果,你这个时候又无言以对的,正是因为有不同的坑在里面。我们前面说的前提,你不知道他到底对不对,这个时候你要拿到更多的数据证明它,证伪它,就是这个过程有很多的坑,我们后来找到了吆喝科技,就有了这个东西。

为什么要用第三方?很多公司比较大了之后觉得我们这个事情为什么不能自己做,当时也是经过了争论,市面上去调研发现有一些问题,第一,你自己做出来到底要多久不好说,可能你现在需要验证你的需求能不能做出来,三个月之后黄花菜都凉了,时间上的问题。第二,就是专业的人做专业的事情,本身我们做天气的再来做一个AB测试的东西,不一定做的特别好。第三,做第三方试验所得数据更有公信力,如果你拿着这个数据找老板,老板会说这个数可信吗?当他问你这个问题的时候,其实可能就已经不可信了,所以我们要有第三方的数据论证。

给大家举一个案例,大家都讲用户增长,怎么样才能增长?很多相通过社会化的分享,让大家都知道你这个东西,有更多人使用,分享按钮本身就是一个很重要的,分享按钮的设计可能也会影响到结果,像我们墨迹天气有很多市场活动,像夏天的时候超过35度可以拿着你的手机到麦当劳里面领一杯免费的雪碧。这个事情我们可能做一些推广的页面,让大家分享,分享按钮能不能做一些提升,转化力的事情,我们当时想了这样一些事情。

墨迹天气多个版本测试

最左边是最原始的版本,后来又设计了三个不同的版本,当你拿到三个不同按钮的时候,到底哪一个更好,空想肯定是想不出来,最简单的方式我们拿到 A/B 测试测一测,我们在后台上可以看到中间的这个版本是最好的,当然如果说你想知道更好的,到底背后是什么原因,可能单纯这个数据还看不出来,还要拿着这个找用户访谈,做更多的调研分析,最后得出来可能是这个。最直接一步的结果,我不知道原因,但我知道结果,能提升就是最低成本的方式,这个是我们结果提升的情况。

另外一个案例是工具类的软件时长都会是一个问题,黏性是一个问题,我们也会尝试做信息流的方式,这个信息流的出口放在什么样的地方最好,是放在右上角还是放在下面的菜单里,这些都可以用AB测试的方式解决。这个我们为什么跟吆喝科技合作去做AB测试的原因。

向老师四句诗总结A/B测试作用

稍微总结一下,山高路远坑深,最主要是坑深,目标很远大,我们要做到这么多,但是你会发现路还挺远的。你要去撕逼,不断的背锅,不断的往前跑,拿到结论做方案不断的往前走,谁敢横刀立马,吆喝科技加身,这是毛主席给彭德怀写的诗,改了一下。

2

究竟该关注哪些数据

重新认识新增、留存和活跃

前面讲AB测试这一段基本就到这儿,下面给大家聊一聊我们数据分析还可以有一些什么方面的应用,给大家稍微的过一下,可能其中的每一条都可以是一个很复杂的问题,都可以花很长的时间来讲,限于时间的关系我把一些基础的东西给大家稍微的过一过,感兴趣的再去交流。

第一条其实刚才讲了一些,后面的这些通过数据去指导,BD渠道的投放,计算用户的生命周期,用户的生命价值以及投入产出比都会用到。讲这个之前,首先我们要聊一聊互联网行业最常用的几个指标,新增、留存和活跃,如果问他们什么关系,可以定性的描述,我们通过数据分析可以试图建立之间定量的关系。

之前在讲的时候有一些问题,第一个先要把概念明确一下,我们在讲到留存率的时候,留存率有不同的定义,有的比如说7日留存,那他用到的是在7日里你都活跃过的留存,还有一种定义是在第七日的留存,如果这个概念的定义是不一样的话,后面的分析完全是不相同,所以我们后面的分析都是基于这样一个前提,我们用到的留存率,N日的留存率都是第N日的留存率,今天来了一万个用户,我在第七日还有多少个用户活跃了,是用的这样的指标。

留存率趋势图

这是我编的一个数据。我们在用第三方统计工具或者我们自己做的时候往往把数据的统计点,他只会给出若干个点,不会把所有的点都给到你。我们一般看到的都会给你1234567,七天的流程,再给你十四日,三十日的流程,把这些放到图表里你就可以看出趋势,基于上面的定义就可以看到次日流程,一般来讲只要没有人为的影响或者突发事件的影响,在日常的情况下都会比七日留存高一点。

如果一个产品发现长期的七日留存比次日留存高是什么原因,你可以好好分析一下,一般来讲次日留存肯定比后面的留存高,中间的空点简单看,如果7-13日,我们有理由相信正常的留存是在7日留存和14日留存之间波动的,当然不排除有一些异常的,但是整体的趋势是这样的。

如果通过某一种方式把中间的点算出来就会有一些用处,其实这个非常简单,截图都是这样的截图,你拿到你的7个点,你把这些点拿出来扔到表格里面做一个散点图再加一个趋势线,你就可以模拟出这条曲线到底是什么走势,那条曲线是有公式的,你再把你的变量带进去就可以计算出中间这些点的留存。

大家看到这儿的时候会觉得有什么样的关系,马上会讲,这是一个比较关键的步骤。接下来我们讲这个原因,活跃用户和新增用户和留存率是什么关系,我们先竖着看,比如说1号来了一万个用户,1月2号一万个用户还留下了6000,次日留存是60%,1月4号是40%,我们拿到的留存率的数据是基于每一天的新增做出来的,针对新增的留存率。1月2号同样又会有一个新增,比如说是两万,又会往下分,1月3号又会往下分。最关键的是这条红线,我们到底竖着看是针对新增,横着看就是我们的活跃。

表格化理解每日留存率

比如,这个APP就是1月1号上线的app,1月8号活跃用户的构成是什么样子,其实横着看最右边的,1月8号当天新增了3万个用户都激活了,已经算在了当天的活跃用户。前一天又来了三万,但是第二天只留下了一万,把这个一万加进来就多了一天,同样前面的1月6号一直到1月1号,你把这些横向的,N日前的用户到我今天留下来的比例,那个结果加进来,所有的加起来就成了一个当日的活跃用户。

基于这个横杠,我们可以再用一些简单的工具,就是表格,你用其他的工具做成系统也有,但是你计算的时候可以直接,这都是表格里面直接实现的,我的留存率算出来,估出来,中间的流失点的数据,你再把他们每一天的加起来。下面我把竖着,就是我每一天的新增,第二天留下来多少,斜角往上去看,比如说这儿新增了这么多,其实第二天留下这么多。

右下角都是0,右下角才有数,第一天的数到头来是留存的最多的一段时间,这个就是用表格的一些公式,一些组合,最后能算出来,大概有这样的一个模板,需要的话一些模板我可以给大家看一看。

讲了这个基础的新增、留存和活跃之间的关系,我们可以再去做一些其他的分析,就是用户生命周期,比如说市面上很多人会问,你用户的生命周期到底是多少,你只能拍脑袋说两年吧,实际上这个东西在刚才讲的基础上是可以计算出来的。

3

产品经理的数据sense

重新认识新增、留存和活跃

重点,其实,并不在知道如何拆解数据,重点在于这些数据在你脑海中的概念和形态。产品经理要培养自己的数据sense,透过冰冷的数据,看到背后跳动的活跃因素。

比如,上一点提到用户生命周期,它是一个均值的概念,你说我八年前就下载了墨迹天气就在用,可能我的生命周期八年还没结束,但是同一天跟我一起的十个用户,十万个用户,今天还留下多少,应该说基本上没有了,因为我们换了手机。

在这儿我们想成一个均值的概念之后去看这一批用户生命周期的时候,你最后会发现某一天一万个用户,第二天60%的用户来了,50%。一共生命周期是多少,我当天所有的用户都活跃了一天,第二天只有50%,实际上针对我这一万个用户来讲总共就经过了1.5天,大家会发现他就是我这一条留存率曲线的积分,但积分这个概念如果说不太好了解,无所谓,前面的公式都有,每一天的数是可以算出来的,你把那个数都算出来然后一加,实际上也是积分,积分就是这么创立出来的。

为什么积分+1,是我第0天的结果没有了,这是用户生命周期的问题,这个可能会有点枯燥。大概了解一下。好在都是有模板的,需要的话可以找我,但是了解一下过程就可以。

LTV,作为一个app,有了用户要表现,如果电商可能不适用,但是你是广告,你有两千万的用户,每天有用户去点你的广告,你两千个用户贡献了一个亿的营收,这一个亿与你花出去的那些钱,到底是什么样的关系,这个也是可以算的,刚才讲的过程。

我们有一个什么问题,我们花钱的时候一般买的是基于新增去计算,不会说我这一个用户花一万块钱买一万个用户留存一天,所以我们的成本基本上都是基于新增来计算,你的收入是基于你的活跃用户,我们现在就是要建立新增用户和活跃用户之间的定量关系,你就可以把你的营收分摊到用户的身上,分摊到新增用户的头上再用成本计算,你就知道他在若干长的一段时间里他对你营收的贡献到底是怎么样,大概就是这样的过程。

最后一个部分是产品经理的数据设置,我们做任何一个事情要分析,实际上是基于三段论,在A和B两个基础的前提上推出一个C,这是你想清楚的过程,有一些三段论的书可以看看,这是思考的过程。再一个是金字塔的原理,更多是告诉你怎么去讲清楚的过程,中间你要拿到不同的数据,不同的信息去论证你的过程,实际上就是用到了我们的各种各样的工具,重点是吆喝科技,所以拿到吆喝科技之后,做各种方案,做AB测试就能排除很多你不知道的因素,最后拿到之后说数据结果是这个样子,要撕B吗,来吧!要背锅吗,不好意思这个锅不是我的。

(本文主办方吆喝科技独家整理提供)


复制下列地址至浏览器地址栏即可观看,本站不提供在线正版。备注:如有地址错误,请点击→ 我要报错 向我们报错!我们将在第一时间处理!谢谢!
  • 本网站所有内容均收集于互联网主流视频网站,不提供在线正版播放。
  • Copyright ©2017 All Rights Reserved 幼*女在线