牛宝体育

　　大数据，按照我的理解比较通俗易懂的是在数据量很多很大的情况下数据处理速度需要足够快，用我们以前传统意义上的的技术比如关系型数据库mysql没办法处理或者处理起来非常复杂，必须有一些新的处理技术也就是大数据处理技术来帮助我们实现数据处理的需求。

　　1牛宝体育、是指无法在可承受的时间范围内用常规软件进行捕捉、管理和处理的数据集合。

　　2、是需要新的处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

　　网上各种参考资料关于大数据的特征和定义都有各自的说法，有些说是5v特征，有些说是4v特征，有些的概括内容的多点，有些概括的内容少点，其实我们并不需那么纠结和论证哪个说法更为准确点，这又不是考试题目的得分点，没有什么标准答案大数据，只要关注核心的理论点能够帮助你去理解大数据，通过自己的经验和实践有自己的认知，能够分享他人自己的认识他人能够理解就行了。

　　1、数据量巨大，可以从两方面去理解。一方面是从进入信息时代到目前为止产生的数据很多达到ZB(数据计量单位)之多,另一方面是数据增长量巨大，随着数字化、信息化、互联网化以及物联网化，各种各样的应用越来越多，未来每个人每个机器每时每科的各种行为都会被当作数据录入到系统，可想而知数据增长得多少。

　　2、数据来源以及类型多，数据可以来自于现有的软件系统，未来可预见的软件系统，以及各个物联网传感器等等；文本/图片/视频等各种结构化(有固定的格式)、牛宝体育半结构化以及非结构化数据，数据类型复杂多样对数据处理能力提出更高要求。

　　3、要求处理速度快，基本上在如此大的数据量业务人员也是要求能够在短时间内获取数据处理结果，得到数据反馈。

　　4、数据价值密度低，数据量巨大有价值的数据很少，需要从海量的数据提取想要的信息表困难，所以很多数据分析以及数据挖掘技术也由此而诞生，所以还是那句话，需求和场景迫使大家去总结经验创造新技术来解决问题。

　　1、更多，因为诞生了很多大数据处理技术，作为业务人员我们可以很贪心的想要更多更全的数据来帮助我们更好地做业务运营、决策，让数据驱动业务，让数据更有价值，我们只需要交给专业的数据人员来处理。

　　2、更好，现在数据处理技术可以很方便的关联更多信息和数据，让数据与数据之间有了更多的相关关系，也可以用可以各种数据清洗技术协助我们过滤不必要的数据，再者可以用数据挖掘技术得到更有价值的数据帮助业务成长。

　　3、更杂，数据的类型和来源繁多，数据也是更加复杂了，与之配套的清洗和数据应用起来也是更复杂，凡事都是有利有弊，带来了好的东西同时也带来了些不好的东西，所以很难有完美的东西存在。

　　想要从事大数据的相关工作，基本上都是从大数据的基础理论学起，然后开始大数据相关技术组件的学习，最后就是公司实际项目的锻炼。学习的路线大体上是按照这样的层次结构去进行，也没有必要说等我这个层次的所有知识学习完了再进入下一个层次的知识学习，很多时候先学习实践一些层次的核心理论之后再不断的补充完善自己的知识面，先让自己能够理解胜任现有的工作让自己的整个流程跑起来，至于过程中的那些不懂的知识点记录起来慢慢去弄懂和理解，有些时候真的是积累到一定程度了才能真正的去理解这些东西。还有我觉得信息、计算机、自动化专业的会比较有优势，因为学习过专业的计算机基础理论知识，理解这些东西会更加容易些。

　　2、大数据是互联网发展到一定阶段的表象或者特征，没有必要神线、大数据不仅仅是技术，关键是产生价值，要让大数据在很多应用场景产生很多数据产品来驱动业务，提升业务。

　　4、至于公司对大数据的使用原因基本上都是随着业务的发展，数据量增大，数据价值越来越突出。经历的过程基本上只是从简单的运用部分大数据处理技术解决现有问题，到梳理数据梳理业务需求采用更加专业的数据架构打通数据搭建统一大数据处理平台，最后上升到数据资产平台上升到数据应用、数据产品。

　　这是最常见的培训课程，其实很多行业的公司对于大数据都只停留在概念或者别人家公司使用的层面上，会邀请一些外部人员来组织大数据的培训。这类培训课程培训受众比较普遍，知识点通俗易懂。一般涉及以下内容：

　　内容比较宽泛，例子比较贴近生活，对于我们开发人员来说更关心为什么这么做、怎么做以及做的更好大数据。

　　这里是专门针对具体行业具体的一些应用、场景的培训，主要讲利用哪几个大数据组件搭建大数据平台解决数据问题，一般涉及到数据架构设计、比较深入讲解怎么实现。比如电商行业比较热门的就是用户画像、商品画像、推荐系统、个性化push。这种培训基本上是大数据服务提供商神策、GIO或者是平台服务提供商阿里云、腾讯云当然我们也有有赞云来针对某个行业的需求以及痛点给出大数据技术解决方案。

　　具体介绍某个组件的具体知识点，比如基础概念定义、如何使用、环境搭建、基本原理、应用场景、高级应用以及与其他技术集成使用，比较深入详细介绍这个技术点，能够对日常工作有指导作用，这类培训课程比较深入要专业的大数据开发相关人员才比较感兴趣。

　　大数据技术不单单是指一门技术，它包含的技术组件种类繁多差不多我目前所知道的有三四十种组件，其中著名的肯定就是hadoop家族的组件，以下的图就是我截取的目前hadoop家族组件图，大家可以感受下。

　　大数据组件技术一直在发展，先前说了大数据的爆炸增长带来更多的应用场景，牛宝体育需要更多的技术来满足这些应用场景。目前为止，很多大数据组件技术都是有开源版本的，在apache下都可以下载，大数据技术的快速发展得益于开源社区的不断活跃，很大程度上是大家共同推进技术不断进步。笔者因为技术水平有限并不能成为这些技术的创造者，但是我不断努力朝着做个技术最佳实践者也是不错的。

　　大数据组件技术你可以简单理解为就是一款款软件，需要安装在很多的服务器上，搭建一个大数据集群。软件是免费版和付费版，大数据技术也是一样有开源版本和商业版本，开源版本在apache下大多数组件都可以免费下载，供我们自身学习使用。公司上一般使用商业版(商业公司基于开源版基础上加了一些功能和bug修复的版本)的组件,因为版本更加的稳定技术支持更加到位，大型公司可以自己封装商业版的，小型公司可以向商业版软件服务商购买。

　　大数据组件技术种类繁多，但是有层级以及应用场景之分的，就是这些组件其实是分类的，每个类别都有一些具体的组件，在某些特定的应用场景和层级下，组件也是固定的。这些组件按照数据流程阶段其实就所谓的层级大体上可划分为：数据收集与接入、数据存储、牛宝体育数据处理、数据分析与挖掘等阶段。这些都有各自的组件技术来支撑各自层级的工作。下面贴个图大家感受下：

　　看到上面的组件技术特别多，牛宝体育感觉到一些一丝恐惧吧。这些框架基本上就概括了目前主流的技术组件，当然也有很多的组件没有列出来，但是不必慌其实掌握几个核心的组件每个类别都有一些核心组件，其他的组件的核心原理和核心概念都是相通的理解起来比较简单，区别在于有自己独特的设计实现满足特别的应用场景。几个核心的组件比如sqoop、Hadoop、hive、hbase、spark、zookeeper、kafaka、flume这些，可以深入学习这几个组件，有了这几个学习基础其他组件相对简单很多，后续的会详细介绍深入介绍这些组件。