牛宝体育

　　大数据，不涉及到高深的知识点和理论，我相信每个人都看得懂。如果文章有错误的地方，不妨在评论区友善指出~

　　我有的时候给外行人讲解什么是数据库，就常常用Excel来举例子(因为大多数人认识什么是Excel)。在知乎有一个类似的题目《有excel了要数据库干啥？》，大家可以去看看：

　　其实很大一部分原因就是：Excel能处理的数据量远远没有数据库得多。由于我们互联网产生的数据是非常非常多的，所以我们一般选择数据库来存储数据。

　　众所周知，我们能存多少数据，是取决于我们硬盘的大小的。比如，我的磁盘的大小就256GB(实际能存储的大小是没有256GB的，但这里我就不展开了)，这意味着我这电脑只能存储比256GB要小的数据。

　　为了能够更好地管理计算机的数据(访问和查找变得更加简单)，我们就有了文件系统。

　　有了文件系统，已经可以存储数据了（很方便我们去获取），那为什么还会有数据库呢？

　　数据库其实就是为了针对特定类型数据处理而设计的系统，而文件系统则可看作通用型的数据存储系统 @知乎 吴穗荣

　　再回到大数据上，大数据就看名字我们就知道：数据量很大。大到什么程度呢？一块普通的硬盘不能将一个文件存储下来。

　　那我还想将这个文件存下来，怎么办呢？方案其实很简单（说白了一个是垂直伸缩，一个是水平伸缩）：

　　如果是普通的用户，肯定选择的是多买一块硬盘，升级硬件啊。但是互联网公司就不这样干，他们就选择将一个文件切分成几份，放到不同的服务器中。为什么？

　　综上所述，目前互联网企业中都是选择水平伸缩在一个系统中添加计算机来满足不断增长的用户量和支撑数据的平稳运行。

　　随着数据量越来越大，在一台机器上已经无法存储所有的数据了，那我们会将这些数据分配到不同的机器来进行存储，但是这就带来一个问题：不方便管理和维护

　　所以，我们就希望有一个系统可以将这些分布在不同操作服务器上的数据进行统一管理，这就有了分布式文件系统

　　在使用HDFS的时候是非常简单的：虽然HDFS是将文件存储到不同的机器上，但是我去使用的时候是把这些文件当做是存储在一台机器的方式去使用（背后却是多台机器在执行）：

　　上面我们使用HDFS作为分布式文件系统，已经可以把数据存到不同的机器上(或者在不同的机器上读取到数据)。可以通过简单命令行的方式对文件的简单的存取。

　　现在呢，由于数据量是非常大的，分散到不同的机器上。我们想要对数据进行处理，我们肯定会有一段写好的程序。处理的方式有两种：

　　选哪个？我们一般会采用”程序到数据所在的地方执行“，因为在大数据里边我们的数据量很大，如果要把机器A/B/C的数据输入到机器D上，这样不划算。

　　所以我们会将程序分别放到机器A/B/C上处理，本来程序就非常小，放到别的机器上是轻轻松松的。还可以使用机器A/B/C的资源做运算，这就很合适了。

　　「将数据传递给程序」这种就是所谓的“移动存储到计算”，而「程序到数据所在的地方执行」这种就是所谓的“移动计算到存储的观念”牛宝体育。

　　在大数据的领域里，移动计算比移动数据更划算。MapReduce就是这样干的：

　　在刚听到「大数据」这个词的时候，可能有的人会想问：所谓大数据大数据，那数据是从哪里来的呢？

　　1、爬虫应该很好理解，就是通过网络爬虫获取外部数据，将这些数据自己存储起来。很多的比价网站就是爬取各种电商网站的数据，然后比较各个网站的数据后得到结果。本身它们网站本身是没有这个数据的，这个数据是从别人那爬过来的。

　　2、数据库本来就已经存储了我们的数据，而我们要做的只是把数据库的数据导入我们的大数据平台那儿，让数据能够得到更好的分析。

　　3、日志这块其实我更牛宝体育多想说的是打点（埋点）这块。有的人会把这埋点和日志的概念分开，只是我把它给合在一起叫「日志」。日志有用户行为日志（埋点），也有系牛宝体育统的运行产生的日志。用户行为日志这块说白了牛宝体育就是：从你进去某个APP的一刻开启。几乎你所有的操作都会被记录下来（点了某个tag、在某个tag停顿了多少秒）。猜你喜欢这类的系统就是根据你以往行为来对进行推荐。

　　好了，现在我们有不同的地方收集到数据，我们要最终要做的就是把这个数据汇总到一起来进行存储和分析。

　　于是我们就需要将日志、数据库、爬虫这些不同数据源的数据导入到我们的集群中（这个集群就是上面提到的，分布式文件系统（HDFS），分布式计算系统）。

　　由于数据源的不同，所以会有多种的工具对数据进行导入。比如将日志的数据收集我们会有Flume，从数据库同步我们会有Sqoop。这也就是所谓的ETL（萃取「extract」、转置「transform」、加载「load」）

　　（注：不要被上面的Sqoop、Flume 这样的名词给吓着了，其实就是现有的成熟的框架技术）

　　我们把所有的数据收集起来大数据，把这个存储数据的地方叫做数据仓库。基于数据仓库我们统计能各种的指标，基于这些指标可以指导我们是否要做一个需求或决策。

　　比如说：现在我们要对APP的首页改版了，但不知道用户是否能接受这次的改版。于是我们就可以先对一少部分的用户做实验（这一部分的用户看到的是改版后的首页)，我们根据这一部分用户的行为来判断这一次的改版是否有比较好的效果。

　　这篇文章简单的说了一下所谓的「大数据」中的数据是从哪里来的，由于数据量很大，所以我们要解决数据的存储和计算的问题。

　　基于存储和计算问题我们业内就提供了很多现成的技术实现了，下面图中的技术每一种类型我后续都会讲解到，可以关注我，不迷路哦。