数据分析⼊门(⼀)
1.数据分析概念
1.1数据分析
是指⽤适当的统计分析⽅法对收集来的⼤量数据进⾏分析,将他们加以汇总和理解并消化,以求最⼤化地开发数据的功能,发挥数据的作⽤。
1.2数据分析包括
描述性数据分析(初级数据分析):使⽤⼏个关键数据来描述整体的情况。指标:平均数,众数
常见的分析⽅法包括:对⽐分析法、平均分析法、交叉分析法等。Excel可以实现。
探索性数据分析(⾼级数据分析):EDA指对已有数据在尽量少的先验假设下通过作图、制表、⽅程拟合、计算特征量等⼿段探索数据的结构和规律的⼀种数据分析⽅法。主要包括:汇总统计、可视化
验证性数据分析(⾼级数据分析):EDA出现之后,数据分析的过程就分为两步了,探索阶段和验证阶段。探索阶段侧重于发现数据中包含的模式或模型,验证阶段侧重于评估所发现的模式或模型。
1.3企业数据分析的⽬标
进⾏市场分析和研究
把握产品的市场动向
指定产品研发和销售计划
2.数据分析的三⼤作⽤
2.1现状分析
告诉你企业的整体运营情况,通过各项指标衡量企业的运营状况
告诉你企业的各项业务构成,了解各项业务发展和变动情况
通过⽇常同报完成,如⽇报,周报,⽉报
2.2原因分析
有了现状分析,但不知好在哪⾥,差在哪⾥,就要进⼀步开展原因分析,做优化调整。
原因分析通过专题分析完成。
2.3预测分析
需要对企业未来发展趋势做预测,为企业提供参考与决策依据,使企业持续健康发展。
预测分析通过专题分析完成,指定企业年度,季度计划时进⾏。
数据分析六⼤步骤
3.1明确分析⽬的和思路
3.1.1明确分析⽬的
菜鸟会想数据分析师会想
这张曲线图很好看,怎么做的?数据变化背后真相是什么?
这些数据可以做什么样的分析?从哪些⾓度分析数据才系统?
⾼级分析⽅法在这⾥能⽤嘛?⽤什么分析⽅法最有效?
菜鸟会想数据分析师会想
要做多少张图表?图表是否表达出有效的观点?
除了为数据添加⽂字说明外还需要说什么?数据分析的⽬的达到了吗?
数据分析报告要写多少页?数据分析报告有说服⼒吗?
…………
3.1.2确定分析思路
《精益数据分析》这本书推荐
1.熟悉分析⽅法论
2.搭建分析框架
3.再把分析框架体系化
3.2数据收集
是指按照确定的数据分析框架,收集相关数据的过程,它为数据分析提供素材和依据。
数据的主要来源:
数据库
互联⽹
市场调研
埋点(前端埋点、后端埋点)
⾃⼰埋点和接⼊第三⽅统计⼯具,现在有很多第三⽅统计⼯具,神策,Google Analytics、百度统计、CNZZ统计、友盟都是⽤的⽐较多的,操作简单⼜⽅便。⾃⼰埋点⽐较复杂,当然得到的统计数据更为准确⾼质量。
3.3数据处理
数据处理 是指对收集到的数据进⾏加⼯处理,形成适合数据分析的形式。
数据处理⽬的 是从⼤量杂乱、⽆规则的数据中,抽取有价值、有意义的数据。
3.4数据分析与数据挖掘
3.4.1数据分析
是指⽤适当的分析⽅法和⼯具,对处理过的数据进⾏分析,提取有价值的信息,形成有效结论的过程
数据处理是数据分析的基础。⽐如处理空数据,选取有价值的特征等
⼀般数据分析:EXCEL
⾼级数据分析:SPSS、python
3.4.2
数据挖掘是⼀种⾼级的数据分析⽅法,它侧重解决四类问题:分类、聚类、关联和预测
特征⼯程
sklear
TensorFlow
3.5数据展⽰
数据展现是指⽤通过表格和图形的⽅式来呈现数据
能⽤图说明问题的就不⽤表格,能⽤表格说明问题的就不⽤⽂字
matplotlib
seaborn
tableau
3.6撰写报告
需要有⼀个好的框架,图⽂并茂,层次清晰
需要有⼀个明确的结论。
⼀定要有建议或解决⽅法
4.常见数据⽅法论
确定分析思路需要以营销、管理等理论为指导,⼀般把这些数据分析相关的营销、管理等理论统称为数据分析⽅法论。
没有业务思维,数据分析就是⼀堆废纸。
⽅法论在各种⾏业都是以各式各样的形式存在着的,它其实就是⼀个指南针,指导⼤⽅向。同样在数据分析中,如果⽅法论不正确或者不合理,后⾯的分析结果也就没必要看了,在⼀个不正确或不合理的⽅法论的指导下,得到的分析结果是不可能正确的。
4.1数据⽅法论与数据分析⽅法的区别
数据分析⽅法论主要⽤来指导数据分析师进⾏⼀次完整的数据分析,它更多的是指数据分析思路,⽐如主要从哪⼏个⽅⾯来开展数据分析?各⽅⾯包含什么内容和指标。所以数据分析⽅法论是从宏观的⾓度指导如何进⾏数据分析,它就像是⼀个数据分析的前期规划,指导着后期数据分析⼯作的开展。⽽数据分析法是指具体的分析⽅法,如:对⽐分析,交叉分析,相关分析等数据分析⽅法。数据分析法主要从微观⾓度指导如何进⾏数据分析。
数据分析⽅法论数据分析⽅法
是对数据分析的宏观指导主要是从微观⾓度指导数据分析
⼀个数据分析的前期规划(如:数据采⽤何种数据分析?有⼏个⽅⾯需要分析?各个⽅⾯有何指
标?)
具体的分析⽅法
PEST、5W2H、逻辑树、4P等分析思路对⽐分析法、交叉分析法、相关分析法、回归分析法
4.2常见数据分析论例举
4.3.1 PEST分析法
PEST分析是指宏观环境的分析,P是政治(politics),E是经济(economy),S是社会(society),T是技术(technology)。分析⼀个企业所处的背景的时候,通常是通过这四个因素来进⾏分析企业所⾯临的状况。⽐如:
4.3.2逻辑树分析法
逻辑树分析法是将⼀个已知问题当成树⼲,然后考虑这个问题和哪些问题有关。每想到⼀点,就给这
个问题所在的树⼲加⼀个树枝,并标明树枝代表什么问题。逻辑树⽅法⼜称问题数、演绎树或分解树。
例如想分析为什么减肥⼀直失败,可以构造如下逻辑树:
怎么做数据分析
逻辑树的适⽤要遵循⼀下原则:
要素化:把相同问题归纳总结成要素;
框架化:将各要素组成框架,遵循不重不漏原则;
关联化:框架内的个元素保持必要的相互管理,简单不孤⽴。
逻辑树的缺点:
涉及相关问题可能会有遗漏。所以在⽤逻辑树分析法的时候尽量把设计的问题或要素考虑周全。
4.3.3 4P营销理论
4P营销理论产⽣于20世纪60年代的美国,将营销要素概括为如下图四类。如果需要了解公司的整体运营情况,就可以采⽤4P营销理论进⾏分析指导。
例如对于公司的业务分析可以按如下思路进⾏分析
产品 公司提供什么产品和服务?哪个销量好?与⽤户需求是否⼀致?购买产品的有⽤户都是何⼈?
价格 公司销售收⼊怎样?增长还是减少?⽤户接受的合理价格是多少?⽤户购买⽀付⽅式怎样?
渠道 公司在各地区有多少销售渠道?⽤户通过何种渠道都买?公司渠道政策是否具有吸引⼒?
推⼴(促销) 投⼊多少促销资源?效果如何?投放多少宣传⼴告?效果如何?
4.3.4 5W2H分析法(七问分析法)
5W2H分析法也叫七问分析法,从回答中发现解决问题的线索,即何因(why)、何事(what)、何 ⼈(who)、何时(when)、何地(where)、何做(how)、何价(how much)。是⼀种常见⽤户 ⾏为分析⽅法论。⽐如O2O的优惠营销信息给⽤户看,需要搞清楚,⽤户为什么需要这些优惠,⽤户的⽬的是什么?我们提供的优惠是什么?与⽤户想的是否⼀致?谁是我们的⽤户?⽤户有什么特征?⽤户喜好在哪个时间段购买?我们的营销活动应该开展在什么时候?⽤户在线下哪⼉去消费?每个地区的线下有什么区别?⽤户应该怎样去享受优惠?⽤户去购买花费的成本是多少?我们应该投⼊多少成本?等等。
下图为5W2H分析在⽤户购买⾏为分析上的应⽤