为何获用户“一致好评”的App,却以失败收场?

话说,当年我刚毕业开始工作的时候,总觉得作为一名软件工程师,只要做好程序设计工作就万事大吉了。可是,我工作出的第一个大丑,却不是因为程序设计技术不行,而是不懂统计学闹出的笑话。下面,我就把这个故事分享给你。

数据的亮眼表现只是泡沫?

那时,我刚刚毕业。进入硅谷工作两个月后,我人生中第一个重大项目终于完成了。这天傍晚下班前,我们决定向全球发布这个新功能。新功能上线后,效果真的非常不错,我们可以清晰地看到各项指标疯狂上涨,短短几个小时,就已经达到了我们对这个季度的业务预期。于是,我就开心得早早回家庆祝了。

第二天早上到公司,我发现,我们团队办公桌旁边墙上挂的数据大屏幕居然坏了——因为数据太好,让显示系统崩溃了。我暗自笑笑,悠闲地去吃了个全套英式早餐,之后,优雅地边喝茶边发了内部捷报——新产品上线,12小时打破历史记录。

然后,就是各种人故意路过我的办公桌,给我打招呼恭喜。毕竟,一个刚到职的毕业生,能在两个月内能取得这样的成绩十分难得。很快,到下班时间了,当我即将欢快地唱起《难忘今宵》并阖上计算机离开的时候,突然,产品经理给我发消息——“又是祝贺的消息吧?”我想,“哎,年少成名真的好烦。”——可我定睛一看,这是一个新建的工作群组,群组名称是“事故调查”,我一下就懵了。

项目的戏剧性转折:以为获得令人称羡的成果,却遭客户投诉

打开群聊一看:“Han,你的产品,出事了。”我的第一个反应就是:啥?不对,不可能,我不信!因为,我可是监测了一天回测数据,全都正常啊!我当然不可能就这样接受这个消息,毕竟,捷报我都发了,现在有问题,真的是啪啪打脸啊!

但是,事实果然如此:客服部门收到大量用户投诉,一大部分用户的App无法正常使用了。通过事故运行记录分析,确实是因为我写的那部分程序代码出了问题。我只能紧急地把新产品下线,灰溜溜地低下了头。这时,我再看同事的目光,隐隐觉得他们的眼神里流露着嘲笑和讽刺。

哎,工作以后第一次炫耀,就这么失败了,以出丑告终。

出了事,就要调查原因。可是,我自己搞了好几天都没什么进展。因为真的是,所有传回来的数据都表示,用户没有任何异常呀!这几乎是一个悖论:数据显示没问题,但是用户就是会投诉有问题

肯定是哪里出错了。

直到有一天我去公司的咖啡厅,和同事Tommy闲聊。他问起我的近况,我就说了这件事。之后,Tommy语重心长地跟我说:“Han,你听说过幸存者偏差(survivorship bias)吗?”

用“幸存者偏差”解释错误认知生成的原因

Tommy跟我说,在第二次世界大战的时候,英国空军为了减少伤亡,分析了所有飞回来的战斗机的中弹统计,如下图所示。

人们发现,安全回来的战斗机,都是机翼上弹痕多,而机头和机身的弹痕分布都不明显。因此,大家普遍都觉得,为了加固飞机,应该重点关注机翼位置。这时,一个统计学教授亚伯拉罕.沃尔德(Abraham Wald)却说,不对,最应该加强的部分,不应该是有很多弹痕的地方,而应该是机头和机身。因为一旦机头和机身中弹,整个飞机会损坏严重而被击落,根本就没有机会飞回来。

听完之后,我灵光乍现,赶紧回去重新调查我的事故。

最终发现,原来,只有对于那些没问题的用户,产品数据才会被成功传回来,系统才有记录。而对于那些App有问题的用户,因为App会直接闪退,相关的数据回传程序代码不会运行,因此我们后台根本没有得到任何回传数据!其实,它们就是那些被提前击落的战机啊!所以,这才造成了后端检测数据一切正常的假象。

“幸存者偏差”在生活中的案例数不清

“幸存者偏差”是一个典型的统计学“统计偏差”概念,也是一个可以在生活中广泛应用的原理,也可以被理解成“沉默的大多数”理论。其实质就是,在进行统计分析的时候,人们忽略了样本的随机性和全面性而造成了错误。因为人们只对部分人做了分析,从而得出了错误的结论。而在真实生活和工作中,往往就是因为一部分人没有发声,或者不能发声,从而让幸存者偏差更容易产生,我们一定要多多注意。

例如“读书无用论”经常充斥在我们耳边。经常有人会说“读书有什么用,你看谁谁谁,连小学都没毕业,不还是成功了。”其实,绝大部分失败者因为并没有被媒体报道,而自己又没有能力发声被公众注意,就等于被迫选择了沉默,最终大众并没有办法知道。如果能够得到完整数据,并且计算确切的比例,我们可以发现,那些获得高学历的人,其实成功的几率更大。

还有,“飞机太不安全了,一天天总出事故”也是错的。飞机是目前人类发明的最安全的交通工具,只不过是因为大部分空难都会被报道,让你知道了,所以你觉得飞机出事的几率很高。而其他的如汽车等交通工具的事故,大多数并没有被报道,因此就有了误解。

另外,身边还会经常出现这种现象:一部电影在影评网站上得分很差,可是周围朋友对其评价还不错。其实这同上面说的是一样的道理。因为觉得电影“还能看得过去”的人,并不会在影评网站发布评论,反而是那些觉得电影很差的人,会怒气冲冲地到网站上打上很低的分数。

再比如,“爱笑的女生运气都不会差”,其实,运气差的话根本笑不出来。还有,“为什么爸妈不挑食”,因为他们在买菜的时候,都已经挑过了。

职场上也存在“幸存者偏差”?

幸存者偏差在网络工作中应用非常广泛。那么怎么避免幸存者偏差呢?

首先,你的脑海中要时刻记着这个概念,千万不要轻易地掉进统计偏差的陷阱。如果你是一位设计师或者产品经理,经常在产品后台收到用户对一些功能提出的改进建议。那么,你要不要立刻就听他们的呢?其实,那些对产品满意的用户,都已经选择了沉默。这时,你就要看看,这些“沉默的”人,是不是大多数了。你只需看看实际的整体用户数据,计算一下,到底有多少比例的用户在抱怨,你很快就会有答案。

再比如,你是一名新媒体小编,经营着一个脸书粉丝专页。有时候,对于阅读量还不错的文章,却发现收到了一些负面评价。这时,你可能会有点失望。我在写我的原创公众号“涵的硅谷增长笔记”时,一开始也常会有这个困扰。但后来我发现,文章阅读量高,本来就已经说明有很多人认可你的观点并且转发了,那些寥寥无几的负面评价,真的只是少数,不能代表全部读者的行为。你应该让自己的目光,多多注意到那些喜爱你的人身上。

在我们涉及那些要对“很多人”进行统计分析的时候,想想统计的样本是不是“完全”且没有“偏差”,是不是有某些样本不能或者很难进入统计。只有做到这样,我们才能有效避免偏差对工作带来的影响。

其他常见的统计偏差类型

除了幸存者偏差,下面再介绍其他三个常见的统计偏差案例。

1. 回忆偏差(recall bias)

它是指人们对于自己过去的评价,会因当前状况的不同而产生变化

例如两个当年英语成绩都是100分的孩子,多年以后,一个出国留学了,另一个在发展。他们对自己小的时候的英语能力评判,往往是不一致的。那个出国留学的孩子,很可能印象中自己的英语从小就很好;而另一个在发展的孩子,很可能认为自己从小英语就不好。可事实是两个人小时候英语分数都很高。

查尔斯.惠伦(Charles Wheelan)在他的书《聪明学统计的13又1/2堂课》(Naked statistics)中,介绍了一个很著名的实验。1993年,一名哈佛大学的研究者进行了一项实验。有两组妇女,一组患有乳腺癌,而另一组健康。通过调查发现,患有乳腺癌的妇女,相比健康妇女,在她们年轻时有显著的高脂肪饮食习惯。

但是,这其实并不是一项医疗研究,而是统计偏差实验。

研究者早在多年前,就已经对两组妇女的所有人进行了饮食习惯的记录。而那时,她们均身体健康,而且她们的饮食习惯其实都很清淡。但是,多年以后,当一部分妇女遗憾地患病以后,她们对早年的自身行为居然有了偏差。她们会把当前身体患病的一部分原因,归结于年轻时吃饭过于油腻。可见,患病不仅改变了这些妇女的现在、未来,甚至还改变了她们脑海中对于过去的记忆。

2. 健康者偏差(healthy user bias)

它是指选择的实验受试者本身的行为,对实验结果影响更大

来看一个著名的“紫色睡衣”实验。

有这样一个统计结果:98%的哈佛毕业生,在他们小时候都穿过紫色睡衣。而在麻省监狱的犯人,只有3%的人在小时候穿过紫色睡衣。于是,人们得出结论:小时候穿紫色睡衣对个人发展十分重要,国家因此强制要求所有人在小时候穿紫色睡衣。

这科学吗?显然不。

紫色睡衣不重要,让孩子穿上这些睡衣的父母和家庭才重要——他们往往是经济条件和教育资源更好的家庭。正如《纽约时报》(The New York Times)健康专栏作家盖瑞.陶布斯(Gary Taubes)解释的那样:“简单地说,按医嘱服药或吃他们认为有益健康的食物的人,跟那些不这样做的人,有着根本上的不同。”

3. 发布机会偏差(publication bias)

媒体界流传一句话:“好事不出门,坏事传千里”。通常,一个公司或者名人的负面新闻,一定比正面消息传播得更广泛。因为人们喜欢八卦,更有人“唯恐天下不乱”。久而久之,为了流量,很多媒体就会偏向于发布负面内容,而对那些正向的或常规的新闻报道视而不见。

这样,就造成了信息传播本身的偏误。例如,你是一名科学家,做了一项统计调查,最终发现:小时候去网吧,对青少年近视其实没有太大影响。那这篇报道就很有可能无法刊登,因为和“网吧对青少年有害”这样的普遍负面认知不符。如果你切换几个采样对象,其实容易改变统计结论,变成“去网吧,会有很大几率造成青少年近视”就好了,再配上一个“网吧,正摧毁亿万青少年”的标题,那么这篇报道的阅读量一定会超过10万。

所以,因为发布偏差,公众日常接受的很多报道,尤其是负面报道,几乎都不能代表某个实例或者企业的全部真实信息,我们应当尽量保持理智和客观的态度对待公关事件。