为什么数据分析很重要

第一个层面,统计学依旧是数据分析的核心方法。

我们先来看一下数据分析的定义:“为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程”,数据分析是基于统计学的方法,来对社会科学的问题提供严谨的分析方法和工具。尽管大数据技术的出现,大大扩展了统计学研究的领域边界,但大数据技术并没有改变统计学通过随机抽样推断总体分布特征的基本思想,大多数统计学的基本方法,如因果推断、充分性原则、数据归纳等,甚至因为大数据技术的普及而得到了增强。通过大数据技术的加持,很多重要的社会经济心理变量变得可以构建,如居民幸福感、投资人情绪等,而实时技术的发展甚至使得实时预测变成了可能。

第二个层面,数据分析对业务的发展有指导意义。

还是引用管理学大师“彼得·格鲁克”的名言:“You cannot impove it if you cannot measure it”,只有我们找到业务发展的关键衡量标准,也就是“北极星指标”之后,我们才能够针对性的优化业务。互联网上有一句广而流传的话,谷歌分析推广人之一Avinash Kaushik的名句:“All data in aggregate is crap. Segment or die. ”,意思是“所有的总和数据都是垃圾,要么分组,要么去死”。汇总数据会掩盖很多问题,对数据的下钻分析才能获得趋势发生的真正原因,才能够了解如何优化“北极星指标”。当今互联网人口红利逐步消失的前提下,对业务数据的深入理解和分析,才能够让业务维持高质量的增长。

综上,数据分析至今仍然很重要,如果想了解自己的工作能产生怎么样的价值,数据分析知识,就是数据从业者必备的“数据Sense”。

|0x01 常见的分析方法有哪些

数据分析师的岗位技能,要求能够有条理有体系的来分析问题、解决问题,我们需要借鉴一些常见的分析方法,以快速定位问题的根本原因。

分析方法包括两个部分,一种是宏观的战略分析,另一种是微观的数据分析。

宏观的战略分析,主要包括:

PEST分析,通过研究政治(Politics)、经济(Economy)、社会(Society)、技术(Technology)四个方面,来分析企业经营所面临的的宏观经济状况;
SWOT分析,通过研究优势(Strengths)、劣势(Weaknesses)、机会(Opportunities)和威胁(Threats),来动态的分析企业内外部的竞争现状;
波特五力模型,通过分析同行业内现有竞争者的竞争能力、潜在竞争者进入的能力、替代品的替代能力、供应商的讨价还价能力与购买者的议价能力,来分析企业的竞争战略策略。
宏观分析虽然对于我们的日常工作而言,主题太大,但其实对于一些特定的行业,如保险、医疗、在线教育、互金、物流等,分析政策、法规、风险等考量因素,还是很有帮助的。

接下来我们讲更加常见的微观数据分析方法,这里列几个常见的方法,并附带一个小Case。

第一个要讲的是假设检验。

假设检验分析,又称统计假设检验,是用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。主要分成三个步骤:1、提出假设;2、收集证据;3、得出结论。

假设检验主要依据逻辑推理,来分析问题发生的原因,因此在归因分析中也常常被用到。

例如我们的北极星指标下降了,我们需要找出对应的原因,初步设想有三种可能性,即用户问题、产品问题或者是竞品问题。

从这三个方面,我们能够提出三种假设:

假如用户有问题,那么我们可以从业务链路图来分析问题,或者是多维度分析来进行拆解;
假如产品有问题,那么可以研究最近上线的产品功能,是否符合用户需求;
假如竞品有问题,那么可以通过外部市场信息,来调研竞品是不是在大规模的补贴推广。
在初步得到结论之后,分析的过程通常还要继续,多问几个为什么,然后继续用数据的方法来验证原因,直到找到问题的根源。

第二个要讲的是逻辑树分析法。

逻辑树分析法理解起来比较容易,是把复杂的问题拆分成几个简单的问题,然后像树木的树干那样,把问题逐步展开,通过解决单个的子问题,进而得到汇总的问题答案。

例如,同样分析利润增长缓慢的原因,我们可以通过逻辑树的方式,把问题拆分成:收入、成本、毛利三个维度,然后依次分析各个维度的问题。

收入需要考量客户量、客户质量、付费率、付费意愿等问题;成本需要考量广告成本、人工成本、促销策略等问题;毛利需要考量仓配客、渠道质量等问题。最后通过各个子问题的汇总,得出真正的原因。

逻辑树有三个基本原则,即

要素化:把相同问题总结归纳成要素;
框架化:将各个要素组织成框架,遵守不重不漏的原则;
关联化:框架内的各要素保持必要的相互关系,简单而不孤立。
第三个讲一下群组分析。

群组分析是按照某个特征,将数据划分成不同的组,如时间、兴趣等,通过对比组与组之间的数据差异,来对问题进行对比。

群组分析对于产品生命周期不同阶段的分析很有帮助,如新发布的版本效果如何,通过时间将用户划分成不同的群组,然后比较不同组之间的留存率,来分析用户留下或者离开的原因。

举个例子,视频平台的用户,需要充值为VIP才能看到平台独占的电视剧,但用户可以在任意月份取消订购,这类取消订购的用户就是流失用户。为了分析用户为什么流失,我们可以使用群组分析方法。

通过把每个组的数据绘制成一条折线,横轴是时间,纵轴是留存率,然后比较各个组的折线,我们通常能很容易的看出,不同时间留存率是有较大差异的,原因大体如下:

产品最近上线了某些新功能,但是这些新功能并不适合新用户;
市场最近在进行推广活动,带来了新用户,但是公司的产品对这些新用户没有价值,导致用户流失。
再配合前文提到的假设检验,进一步分析问题的根本原因,这样我们就形成了一些比较固定的分析方法:1. 群组分析,找到留存率比较低的组;2. 假设检验,提出问题,验证为什么留存率这么低。

不同策略的相互组合,就形成了我们自己的分析方法论。

当然,数据分析的方法还有很多,这些都需要通过日常的学习和实践,来一点点的总结完善。

数据驱动的一些方法论

数据驱动的意思,简单来讲,就是针对已经数字化的业务,如电商、视频等,通过数据来分析问题的原因,并提出优化解决的方法,来驱动业务增长、或者是产品迭代。这是互联网行业保持增长的诀窍,也是数据从业者需要掌握的业务方法,更是评价一个人工作能力的重要衡量标准。

数据驱动通常由如下的流程构成:

定性分析数据,以发现问题;
定量分析数据,以确定影响面;
调研公司、竞对和业界的通行做法;
预估解决问题后的效果;
设计相应的实验机制;
AB测试得出实验结论;
上线并跟踪策略后续的变化情况。
这里有一些知识是数据分析需要涉及的,即定性、定量分析,AB测试。其他的部分通常由工程组来实现相应的功能。

定性分析,是对研究对象进行“质”的研究,分析内在规律;定量分析,是对研究对象进行数量的研究,描述相互作用与发展趋势。

举个例子,通过数据,我们发现了电商场景中的“下单到支付转化率低”的问题,需要分析问题。我们通过分组+漏斗的方法,发现部分商品存在这个问题,然后通过抽样看数据,分析发生问题的原因,大概是因为虚假价格,这个就是定性分析。定位到原因后,我们选取抽象商品,通过人工评估虚假价格的比例,来推断总体的影响范围,就是定量分析。

接着,我们定了一些策略,需要验证这些策略对于“下单到支付转化率低”问题的影响,就需要进行实验对比。

AB实验是指,针对同一个存在2种及以上解决方法的问题,对同一组人群进行随机分组,在同一时间维度内,进行实验组和对照组的实验,通过少量且相同的衡量指标,衡量哪套解决方案的结果表现更好。当然,这么做的前提,是需要样本量足够,但对于已经数字化的互联网业务而言,通常都不是困难的事情。

通过分析AB实验后,不同策略的效果对比数据,看我们的策略是否能带来预期的正向效果,如果是则可以上线。上线之后,再进行定量的数据分析,看问题解决的程度。

以上就是数据驱动的一些常规方法。

数据分析师的技能进阶

数据分析师也需要懂算法。

很多时候,分析师也跟开发一样,分成“向前”和“向后”两种角色。“向前”的角色贴着业务走,能够发现业务中存在的问题,寻找相应的优化点;“向后”的角色更多是落地实现一个功能,能够优化算法或者试验方法,更像后端,但更智能化。

尽管统计学能够为我们提供非常不错的分析方法,但世间的问题也不都是统计学能够概括的,很多方向的分析师,依然需要掌握算法来应对工作的需要。

例如最典型的“供需匹配”问题,因为量变引起质变。

过去互联网的发展历史中,不论在B2C、C2C、B2B、B2B2C哪个地方,我们都建立了准确的画像体系,不仅是用户画像,还有供应商画像,实现了千人前面的用户管理,更好的做供需管理匹配。后来,这套机制衍生到了其他方面,视频的个性化推荐、网约车管理,都属于供需匹配的一部分。

但如何在千万级甚至亿级的商品里面去做匹配召回,如何在海量数据中匹配线索,如何明确哪些人群是我们的目标人群,如何把信息流推荐给最合适的人,又如何衡量这些效果…… 很多方案,需要综合考虑,到底是通过基于统计学的数据分析去形成规则,还是需要通过算法去挖掘特征,都是达成目标的途径。

大公司由于资源丰富,通常两者会并行,从某种程度也就严格的区分了数据分析和数据算法间的职责边界;而中小企业资源有限,可能造成分析即算法的现象。

与之类似的,还有风控、知识图谱等领域,除了人力的覆盖,需要机器的介入,才能效果的最优化。

其实,数据分析师的成长,更像是一场马拉松长跑,因为需要接触的知识很多,能够合理分配自己的时间和精力,经常提醒自己核心目标是什么,才能把事情做好,在漫长的长跑过程中不掉队。分析只是一个技能,把它作为人生的职业,更需要贴切实际场景,贴近公司发展,做出相应合理的策略。