牛宝体育

　　全球最大的旅行房屋租赁社区 Airbnb 曾在 2011 年纠结于新用户增长的缓慢

　　于是，他们提出一种假设，即「附有专业摄影照片的房源要更抢手，因此房主肯定会愿意申请 Airbnb 提供的此项服务」。

　　他们迅速上线了一个提供专业摄影照片服务的版本，然后跟原版本做 A/B Test，发现同一个房源，使用专业摄影服务的比不使用的多了 2-3 倍的订单量。

　　2011 年后期，Airbnb 雇用了 20 名专业摄影师，以帮助平台上的房主拍摄房屋照片，几乎在同一时间段，Airbnb 的订单量曲线有了一个陡峭的增长。

　　比如我们天天使用的淘宝，它会根据你的历史购物习惯（数据），来给推荐你可能感兴趣的商品。淘宝是如何做到的呢？对于这种复杂问题，淘宝背后使用的就是机器学习。

　　2010 年前后，门户时代崛起的网易、搜狐、腾讯三巨头向移动端转型，几乎垄断了当时的新闻客户端市场。而仅仅 2 年后，今日头条，使用「机器学习」这把屠龙刀向用户个人性化推荐用户感兴趣的新闻，一举打破巨头垄断，成为新闻客户端老大。虽然，后来腾讯和网易为了对抗头条，推出了类似的产品的天天快报和网易号，但因起步晚和算法不成熟，都失败了。

　　在这份报告中，像点赞数、评论数、收藏数、总阅读量这样的分析就是简单分析。像「你可能感兴趣的人」这样的分析，就是复杂分析，需要通过机器学习算法来找到，类似于豆瓣上给你推荐感兴趣的电影、淘宝上给你推荐感兴趣的商品。

　　机器学习分很多方法（算法），不同的方法解决不同的问题。深度学习是机器学习中的一个分支方法。

　　深度学习在图像，语音等富媒体的分类和识别上取得了非常好的效果，所以各大研究机构和公司都投入了大量的人力做相关的研究和开发。我说个例子，你肯定听说过。那就是 2016 年谷歌旗下 DeepMind 公司开发的阿尔法围棋（AlphaGo）战胜人类顶尖围棋选手。阿尔法围棋的主要工作原理就是「深度学习」。

　　人工智能，它的范围很广，广义上的人工智能泛指通过计算机（机器）实现人的头脑思维，使机器像人一样去决策。

　　机器学习是实现人工智能的一种技术。所以我把人工智，机器学习，深度学习放到不同的圆圈里，他们三者是包含的关系：

　　现在，你已经清楚了数据分析、机器学习、深度学习这些概念的关系了。当我们从解决现实问题的角度来看，很多概念会清楚。处理不同的问题，使用不同的方法。

　　大数据分析是一种快速处理大规模数据集的方法，以便从中获取有用的信息和洞见。

　　这些数据可以来自各种来源，包括社交媒体、传感器、购买历史记录等。大数据分析可以帮助人们更好地了解数据背后的趋势和模式，以便做出更明智的商业决策。

　　接下来我针对性地讲讲大数据分析整个流程最关键的阶段:数据处理与分析阶段。

　　因为数据采集、处理、分析都围绕着“数据”进行，对海量或杂乱数据进行处理分析，从中找出痛点，洞察问题。

　　该处的数据采集指的是获取分析所需要的数据，一般可以从内部数据、外部数据两个方向获取。

　　直接获取的前提是，公司进行了数据仓库的建设，已为决策分析提供了所有类型数据支持。该部分内容在之前的文章中也提到过，但是在这里更加细化的做了点补充。直接获取就是指数据库中有现成的表可以直接获取到所需的数据，不需要分析师再在sql上做复杂的处理。

　　① ods层：明细数据。数仓不做任何数据处理，直接原封不动的将数据同步到该库上。为dw层的数据加工作准备。

　　②dwd层：明细数据。该层数据已在ods层上对数据做了清洗操作，比如去除空值、脏数据等。

　　③dwb/dws层：聚合数据。主要对ods/dwd层的数据做些轻度汇总，会涉及较多业务指标数据。如根据ods/dwd层的明细数据计算出七日复购率、周同期对比数据、毛利率等指标供分析师直接查询使用。

　　一般情况下，分析可以直接从dwb/dws层调取现成的指标数据进行分析，特殊情况下也可以从dwd层写复杂sql的方式计算成所需的数据。

　　前提是dwb/dws层没有现成的数据可以直接获取，哪怕自己写代码可以从dwd层获取，也需要写很复杂的代码。此时，请数仓协助落成聚合表再去调取数据。

　　重新落表一般会涉及人力资源的协调，需求的沟通。分析师担当业务方和数仓之间的桥梁，将业务方的需求理清楚之后，自身又作为数仓的需求方对数仓提需求。

　　当分析的内容内部数据无法满足时，或者不够全面时，此时需要借助于外部数据来辅助分析。

　　比如艾瑞网、极光大数据、阿里研究所、199IT互联网数据中心等都会时不时的发一些行业分析报告。整个行业的数据公司内部是无法获取的，所以可以从一些行业分析报告入手。

　　①主观想法：喜欢我们产品的原因是？我们产品最吸引您的点是？您觉得我们产品最应该改进的点是？

　　有时候我们分析的某个指标有时候也会受到宏观政策的影响，比如宏观上某项指标上调了xx，对我们的业务会产生怎样的影响。

　　对分析师而言，这步需要分析师将数据根据脑中的分析框架处理成所需要的数据。

　　会涉及数据异常值处理、缺失值处理、数据转换、数据聚合、数据分组归类以及数据准确性的校验，为下一步的数据分析奠定好基础。

　　数据采集到之后，还要做好数据验证，目的是确保数据准确性，切忌拿到数据立马动手分析。从验证人员来看：

　　数据分析方法很多，网上有很多资料，这里就讲一下其中比较常用的几种分析方法。

　　漏斗分析是数据分析中比较常见的分析模型。采取漏斗的方式直观的表示业务从起点到终点的各个环节的转化情况，以便找出有问题的环节，针对性的优化。如下图，展示了用户支付场景的转化率：用户从打开app到完成支付的过程。分为进入首页→进入商详页→加入购物车→提交订单→支付完成，直观分析每个重要环节的转化率。以最直观最简单的方式反映出每个关键环节的转化率，洞察主要问题所在。

　　RFM模型主要用来衡量用户价值，做用户分群，比如区分出低价值用户、高价值用户、忠诚用户等用户群体。

　　先对R、F、M三个值进行分层并赋予权重（以下数据纯属虚构，分层时根据实际情况）。

　　比如用户最近一次消费距今时间7天以下的打为5分，8-14天的打为4分......以此类推。分数高的表示价值性比较高，分数低的表示价值性比较低。

　　比如下图中，用户“111113”最近一次消费距今时间在7天以下，则R为5，在最近时间段内的消费频次在6-10之间，则F为2，在最近时间段内的消费金额在1001-2000之间，则M为2。

　　再将每个用户的R、F、M值与均值对比，大于均值填充1，小于均值填充0，填充于”按照均值处理后“列中。

　　最后将“按照均值处理后”的数据参照下图模型表（下图不是计算出来的，是比较常用的标准），匹配出用户类型。

　　波士顿矩阵不少人在大学期间学过，工作中也是比较实用的。可通过波士顿矩阵分析公司的产品结构，发现痛点，为是否需要及时调整战略目标，以及判断产品的资源分配是否合理提供了数据支持。

　　。该产品在市场上占有比较大的份额，且处于高速增长阶段。未来发展为金牛产品的可能性比较大。此时抓住机会扩大投资，提升竞争优势。如图中的蜜桔、香蕉、苹果。

　　。产品已较为成熟，增长前景有限。稳定发展，尽量维持好当前市场份额。如图中的西瓜、樱桃。

　　。高速增长却市场份额并不高。说明此产品虽然高速增长，但并未及时开拓市场，营销存在问题。如图中的猕猴桃、荔枝。

　　。既市场份额不高，又增速缓慢，基本可以淘汰，将此资源转而投资给其他更有利的产品。如图中的草莓、杨桃、哈密瓜。

　　帕累托分析就是“二八法则”。“二八法则”认为80%的财富掌握在20%的人手里，应用到业务中就是，80%的营收在20%的产品里，同理，我们应该花80%的时间内在这20%的产品上。也就是说，宝贵的时间与资源应该用在刀刃上。

　　如下图：展示了每个品类的销售额，通过销售额计算出销售额累积值，进而算出累积百分比。

　　共15种品类，其中7个品类贡献了80%的销售额，占比46.67%，也就是说46.67%的商品为公司带来了80%的销售额，并不符合二八定律，该公司并没有强势产品。

　　AARRR模型是探索用户增长的模型。分别对应用户生命周期的5个环节：用户获取、用户激活、用户留存、用户变现、推荐传播。

　　关联规则分析其实就是购物篮分析，就是通过挖掘用户的消费行为数据，探索用户的消费习惯，从而合理搭配商品，提升收益。举个简单的例子，近30天共产生了10笔订单（方便计算只虚构了10笔），1代表订单中包含该商品，0代表订单中未包含商品，比如111112订单，用户没有买苹果，但买了香蕉（是否买了其他商品不考虑）。

　　其中购买了苹果的订单有6笔，购买了香蕉的有5笔，同时购买了苹果和香蕉的有3笔。则:

　　① 苹果和香蕉组合的支持度=同时购买了苹果和香蕉的订单数/总订单数*100%=3/10*100%=30%

　　② 苹果对香蕉的置信度=同时购买了苹果和香蕉的订单数/购买了苹果的订单数*100%=3/6*100%=50%

　　③ 苹果对香蕉的提升度=苹果对香蕉的置信度/购买香蕉的概率=50%/(5/10)=1

　　若提升度=1：表示购买苹果并不会对购买香蕉产生任何影响，因为在购买了苹果的条件下去买香蕉的概率和直接买香蕉的概率是一样的；

　　若提升度1：表示购买苹果对购买香蕉产生了正向影响，即购买苹果很大可能也会买香蕉，因为在购买了苹果的条件下去买香蕉的概率大于直接买香蕉的概率；

　　若提升度1：表示购买苹果对购买香蕉产生了负向影响，即购买苹果很大可能就不会买香蕉牛宝体育，因为在购买了苹果的条件下去买香蕉的概率小于直接买香蕉的概率；

　　这就是关联规则分析，一般用以研究探索商品捆绑销售，比如苹果是否需要和香蕉在一起捆绑销售，捆绑销售收益是否会更大。转载/溜溜笔记说

　　在实际工作中，想要成为一名优秀的数据分析师，光学会这些概念是远远不够的。学会利用工具让自己数据分析后的结论能够落地，实际推动业务增长才是成为一名优秀数据分析师的关键。下面也分享一款好用的分析工具，操作简单易上手，内含丰富demo,感兴趣的可以试一试！

　　先把数据分析，机器学习，人工智能等这些概念搞清楚，就知道要学什么，以及从哪开始学起了。

　　一切技术的出现都是为了解决现实问题，而现实问题分为简单问题和复杂问题。简单问题，需要简单分析，我们使用数据分析。复杂问题，需要复杂分析，我们使用机器学习。

　　如果在看这个问题的你对数据分析感兴趣，推荐参加下面这个【前 IBM 数据分析大咖 3 天实战训练营】，一线互联网大厂大牛带队，直播互动讲解互联网数据分析工作流+常见分析模型运作原理，还有大厂真实案例带练实操，打破简历 0 项目经验！升职加薪指日可待！现在参加还有最新 Excel 自学手册 1-6 部免费赠送，数量有限，先到先得，有需要的点击卡片即可：

　　比如公司领导想知道每周的销售情况，这种就是简单问题。简单问题可以用数据分析来处理，通过分析数据来分析出有用的信息。

　　最简单的，你用 excel 分析一家淘宝店铺的销售数据，每周公司会让你出一份周报一份发现了最近几个月销量下降，然后根据分析产生销量下降的原因是什么，找到原因后制定对应的策略来提高销量。

　　我们来看一个真实的案例。全球最大的旅行房屋租赁社区 Airbnb 曾在 2011 年纠结于新用户增长的缓慢，有一天，他们的数据分析团队发现房源照片的精美程度，跟房源的预定人数成很大的正相关。

　　于是，他们提出一种假设，即「附有专业摄影照片的房源要更抢手，因此房主肯定会愿意申请 Airbnb 提供的此项服务」。

　　他们迅速上线了一个提供专业摄影照片服务的版本，然后跟原版本做 A/B Test，发现同一个房源，使用专业摄影服务的比不使用的多了 2-3 倍的订单量。

　　2011 年后期，Airbnb 雇用了 20 名专业摄影师，以帮助平台上的房主拍摄房屋照片，几乎在同一时间段，Airbnb 的订单量曲线有了一个陡峭的增长。

　　比如我们天天使用的淘宝，它会根据你的历史购物习惯（数据），来给推荐你可能感兴趣的商品。淘宝是如何做到的呢？对于这种复杂问题，淘宝背后使用的就是机器学习。

　　2010 年前后，门户时代崛起的网易、搜狐、腾讯三巨头向移动端转型，几乎垄断了当时的新闻客户端市场。而仅仅 2 年后，今日头条，使用「机器学习」这把屠龙刀向用户个人性化推荐用户感兴趣的新闻，一举打破巨头垄断，成为新闻客户端老大。虽然，后来腾讯和网易为了对抗头条，推出了类似的产品的天天快报和网易号，但因起步晚和算法不成熟，都失败了。

　　在这份报告中，像点赞数、评论数、收藏数、总阅读量这样的分析就是简单分析。像「你可能感兴趣的人」这样的分析，就是复杂分析，需要通过机器学习算法来找到，类似于豆瓣上给你推荐感兴趣的电影、淘宝上给你推荐感兴趣的商品。

　　机器学习分很多方法（算法），不同的方法解决不同的问题。深度学习是机器学习中的一个分支方法。

　　深度学习在图像，语音等富媒体的分类和识别上取得了非常好的效果，所以各大研究机构和公司都投入了大量的人力做相关的研究和开发。我说个例子，你肯定听说过。那就是 2016年谷歌旗下 DeepMind 公司开发的阿尔法围棋（AlphaGo）战胜人类顶尖围棋选手。阿尔法围棋的主要工作原理就是「深度学习」。

　　人工智能，它的范围很广，广义上的人工智能泛指通过计算机（机器）实现人的头脑思维，使机器像人一样去决策。

　　机器学习是实现人工智能的一种技术。所以我把人工智，机器学习，深度学习放到不同的圆圈里，他们三者是包含的关系：

　　现在，你已经清楚了数据分析、机器学习、深度学习这些概念的关系了。当我们从解决现实问题的角度来看，很多概念会清楚。处理不同的问题，使用不同的方法。

　　你可能会问了：「上图中没看出数据分析和人工智能有什么关系呀，是不是学习数据分析没什么用？那我是不是一开始就学习机器学习了，这样可以直接进人工智能时代，享受时代红利了？」

　　机器学习是很多学科的知识融合，而数据分析是机器学习的基础。只有学会了数据分析处理数据的方法，你才能看懂机器学习方面的知识。这就好比，你想上初中（机器学习），必须先读完小学（数据分析）才可以。

　　所以，我在下面图片中画了两条黄色的线，表示数据分析的两个方向，如果你喜欢深入技术，学会了数据分析，你才能打好基础，去学习机器学习。如果你喜欢商业方面的内容，可以往人工智能业务方向发展。

　　职业社交网站领英在《2018 新兴工作岗位报告》中说，2018 年，15 个新兴职位里有 6 个与人工智能相关，这说明，与人工智能相关的技能开始渗透到各个行业，而不仅仅是技术行业。

　　领英把人工智能技能定义为：开发和有效使用人工智能工具和技术的技能。这是领英上增长最快的一个技能，从全球来看，2015 年到 2017 年这个技能增长了 190％。

　　之前很多人本来就是零基础，却买来一堆机器学习的课程和书来学习，最后看的是晕头转向，觉得自己不适合。

　　其实，这是走错了路。如果你是零基础，想进入人工智能这个相关的职业，要先从数据分析开始学起。

　　3）机器学习分很多方法（算法），不同的方法解决不同的问题。深度学习是机器学习中的一个分支方法。

　　4）数据分析可以帮助你从零进入人工智能时代。如果你喜欢深入技术，学会了数据分析，你才能打好基础，去学习机器学习。如果你喜欢商业方面的内容，可以往人工智能业务方向发展。

　　了解了这些基本概念以后，了应该从哪开始学习了。建议时间紧张的朋友看我总结好的视频课版本，节省时间精力。3 天时间，分析工具带练+模型结构拆解+大厂案例实战大数据，能力深度对标阿里 P6+，可以帮助大家系统性地掌握数据分析技能和提升数据分析思维，实现升职加薪梦！

　　大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity) 。

　　不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。

　　可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。

　　数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

　　我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从文档中智能提取信息。

　　数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

　　假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据能给我们带来的好处，而不仅仅是挑战。

　　数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台。

　　企业大数据最核心的价值就是企业在对于海量数据进行收集、存储和分析之后，通过对这些数据的挖掘与分析，为提高企业运营效率、业务价值和开拓企业新业务提供参考与导向，并为企业未来发展战略提供支持，实现企业整体竞争力的提升。

　　企业大数据不可或缺的一部分是来自日常经营和管理中产生的数据，它全面记录企业经营和管理活动的数据。在企业数据化经营和管理中，只有全面的、相互关联的数据才能发挥作用。

　　以往很多企业的经营决策可能都是出于管理者的经验，它是相对主观的。而数据是对客观事物的逻辑归纳，它真实的反映了事物的状态和变化，相比于传统决策，基于数据的决策更准确，同时对作出决策人的要求也更低。

　　在一个技术创新大爆炸的时代，我们别无选择，必须做好数据分析，利用大数据分析为所有职场人员作出迅捷、高质、高效的决策，提供具有指导意义的洞察和可规模化的解决方案。

　　数据分析的目的是将数据变为信息，赋予数据生命力，解决业务的核心诉求。建立多维分析模型是将大数据进行场景化、即席化、可视化以及智能化的强大基础。

　　相对于表格，以三维立方体形式呈现的数据结构更加直观。在这个数据立方体中，每一个坐标轴都代表一个业务角度（时间、地区、产品），坐标轴上的坐标值则表示了某个业务角度的一个确定的值（如：北京市、3月份、手机），不同坐标轴坐标值的交叉点则表示一个具体的销售额。

　　场景化分析是针对企业业务经营的具体场景开展的数据分析，场景化分析符合数字分析敏捷化、业务化、前瞻化的发展趋势，将替代财务分析成为企业数据分析的主流。场景化分析并非只是简单的基于对业务场景的数据分析。它是建构于数字化时代企业IT新架构之上，以企业各类数据为基础的应用。

　　在大数据分析中，很多分析都是使用相关关系进行的。而企业经营是由一个个具体的场景串联叠加的结果，对于企业经营而言，将分析深入到企业最基础的业务环节中，基于业务的因果分析甚至更为重要。

　　市场变化需要考虑的因素越来越多，需要企业家做出决策的时间越来越短，对形成决策依据的各项数据的获取、提炼、分析的准确速度要求就越来越高！基于多维数据库和沙箱等技术分析型软件系统越来越受到企业青睐。

　　更高的响应速度永远是数据分析的追求。决策者在实时获得信息和分析结果的情况下，能够以前所未有的方式获得新的洞察和完成业务流程。实时数据检索不仅可以降低成本、提高效率和可视化速度。

　　企业不再局限于在数据仓库中划分的数据子集，而是可以更全面地收集和处理业务数据，使企业从原来被动的事后分析转变为主动的实时决策，并可以以此为基础创建基于预测的、而非基于响应的业务模型。

　　快速响应让分析应用惠及普通员工和管理链的上下游。即使没有多少IT专业知识的员工也可以构建查询条目和仪表板，由此培养出更多内容创建方面的专家，激发他们的工作积极性。

　　目前，不少人都会对大数据分析有着浓厚的兴趣，那么什么是大数据分析？大数据分析是指对海量的数据进行分析。大数据有4个显著的特点， 海量数据、急速、种类繁多、数据真实。大数据被称为当今最有潜质的IT词汇，接踵而来的的数据挖掘、数据安全、数据分析、数据存储等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。

　　本公司目前在招聘一些大数据分析师，我们欢迎所有对数据分析感兴趣的人来试试，符合条件的可以投递简历（可培养！！！）投递方式见下方，更多岗位信息关注本公司公众号，欢迎主动与我们联系。（1、签订正式合同五险一金；2、须本科及以上学历（优秀者可放宽条件）；3、无经验者有项目经理带；4大数据、在京工作一年后要求回当地的工作的，可申请调回当地省会城市的分公司或合作企业工作；5、每日简历投递量非常大，欢迎主动与我们联系！！

　　数据分析可以让人们对数据产生更加优质的诠释，而具有预知意义的分析可以让分析员根据可视化分析和数据分析后的结果做出一些预测性的推断。

　　大数据的分析与存储和数据的管理是一些数据分析层面的最佳实践。通过按部就班的流程和工具对数据进行分析可以保证一个预先定义好的高质量的分析结果。

　　不管使用者是数据分析领域中的专家，还是普通的用户，可作为数据分析工具的始终只能是数据可视化。可视化可以直观的展示数据，让数据自己表达，让客户得到理想的结果。

　　大数据已经不像前些年给人一种虚无缥缈的感觉，而当下最重要的是对大数据进行分析，只有经过分析的数据，才能对用户产生最重要的价值，越来越多人开始对什么是大数据分析产生联想，所以大数据的分析方式在整个IT领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。

　　全然的谈数据分析的起到其实意义并不大，所以在谈论起到之前我们首先的考虑到是受众对象，比如对个人而言，因为身体传感设备，让我们的日常磨练、身体素质等各项指标都以求数据化，最终已完成个人身体和生活习性的自我分析，进而改良调节个人日常生活规律，让我们更好的生活。而对于企业而言，数据分析的起到则主要反映在三大领域：一是对业务的改良优化；二是协助业务找到机会；三是建构新商业价值。

　　改良优化业务方面，通俗的说道就是让业务显得更好。让业务显得更好对企业而言主要反映在两大方面：

　　一是对企业用户体验的改良方面，优化原先业务流程，为用户获取更好的用户体验。

　　二是反映在对企业资源的合理化分配利用上，更合理的优化配备企业资源，进而超过效益最大化的目的。例如我们企业日常运营中的广告投放以及内部广告资源分配优化等就归属于此范畴，一方面利用精准化广告投放，提升广告投放效率，另一方面根据广告竖井客户量的大小作好企业资源分配，进而提升用户体验，提高用户留存率。

　　协助业务找到机会主要是利用数据查询找到人们思维上的盲点，进而找到新业务机会的过程。建构新商业价值模式方面，主要是在数据价值的基础上构成新商业模式，将数据价值必要转化成为金钱模式或离金钱更将近的过程。

　　此外，数据分析在企业运营过程中还充分发挥着“医生”般的起到，一方面获取对企业日常运营活动的身体检查服务，对业务运营过程中可能会经常出现的问题不作预警，将问题处置在兴起状态，防患于未来。牛宝体育牛宝体育