牛宝体育

　　物联网时代，每个人/设备都是数据的产生者，也是数据的使用者。在线联接是数据化的过程，互动是数据的来来往往，结网协同所需的能量无不来自于数据的张力与动能。 --曾教授

　　上文说到，既然谈大数据，那么大数据的第一要务就是需要有数据，否则，何来“数据是DT时代的第一生产要素”。大数据时代的数据，跟农耕时代的土地，工业时代的资本一样重要。

　　数据无处不在，人类自从发明文字开始，就开始记录各种数据，只是保存的介质一般是书本，而且难以分析、加工。随着计算机与存储技术的快速发展，以及万物数字化的过程（音频数字化，图形数字化等），出现了数据的爆发，而且数据爆发的趋势，随着万物互联的物联网技术的发展，会越来越迅速。同时，对数据的存储技术，处理技术的要求也会越来越高。

　　据IDC出版的数字世界研究报告显示，2013年人类产生、复制和消费的数据量达到4.4ZB。而到2020年，数据量将增长10倍大数据，达到44ZB。大数据已经成为当下人类最宝贵的财富，怎样合理有效的运用这些数据，发挥这些数据应有的作用，这是大数据将要做到的。

　　早期的企业也比较简单，关系型数据库中存储的数据，往往是他们全部的数据来源，这个时候他们对应的大数据技术，也就是传统的OLAP数据仓库解决方案。因为关系型数据库中基本上是他们的所有数据，往往大数据技术也比较简单，直接从关系型数据库中获得统计数据，或者最多建一个统一的OLAP数据仓库中心。

　　通过淘宝的历史来看，早期的数仓数据基本来源于主业务的OLTP数据库，数据不外乎用户信息（通过注册、认证获取），商品信息（通过卖家上传获得），交易数据（通过买卖行为获得），收藏数据（通过用户的收藏行为获得）。从公司的业务层面来看，关注的也就是这些数据的统计，比如总用户数，活跃用户数，交易笔数、金额（可钻取到类目，省份等），支付宝笔数、金额等等。因为这个时候没有营销系统，没有广告系统，公司也只关注用户，商品，交易的相关数据，这些数据的统计加工，就是当时淘宝大数据的全部。

　　但是，随着业务的发展，比如个性化推荐，广告投放系统的出现，会需要更多的数据来做支撑，而数据库的用户数据，除了收藏，购物车是用户行为的体现，但是，用户的其它行为，如浏览数据，搜索行为等，这个时候是完全不知道的。

　　这里就需要引进另外一个数据来源，日志数据，记录了用户的行为数据，可以通过cookie的技术，只要用户登录过一次大数据，就能跟真实的用户取得关联。比如通过获取用户的浏览行为，购买行为，进而可以给用户推荐他可能感兴趣的商品，看了又看，买了又买就是基于这些最基础的用户行为数据做的推荐算法。这些行为数据还可以用来分析用户的浏览路径，浏览时长，这些数据是用来改进相关淘宝产品的重要依据。

　　2009年，无线互联网飞速发展，随着基于native技术的App大规模的出现，用传统日志方式获取无线用户行为数据已经不再可能，这个时候也涌现了一批新的无线数据采集分析工具，比如友盟，Talkingdata，淘宝内部的无线速读等等，通过内置的SDK，他们可以统计到native上的用户行为数据。

　　数据是统计到了，但是，新的问题也诞生了，比如我在PC上的用户行为，怎么对应到无线上的用户行为，这个是脱节的，因为PC是PC上的标准，无线又采用了无线的标准，如果有一个统一的用户库，比如不管是登录名，邮箱，身份证号码，手机号，imei地址，mac地址等等，来唯一标识一个用户，不管是哪里产生的数据，只要是第一次关联上来，后来就能对应上。

　　这就涉及到了一个重要的话题 -- 数据标准牛宝体育，数据标准不仅仅是解决企业内部数据关联的问题，比如一个好的用户库，可以解决未来大数据关联上的很多问题，假定公安的数据想跟医院的数据进行关联打通，发挥更大的价值。但是，公安标识用户的是身份证，而医院标识用户的数据则是手机号码，有了统一的用户库，就可以通过idmapping技术简单的把双方的数据进行关联。

　　数据的标准不仅仅是企业内部进行数据关联非常重要，跨组织，跨企业进行数据关联也非常重要，而业界有能力建立类似用户库等数据标准的公司并不多，阿里巴巴就是其中之一。政府其实很早也就看到这里的价值，早在2002年7月，国家信息化领导小组第二次会议审议通过了《关于我国电子政务建设的指导意见》（以下简称《意见》），根据《意见》的指导原则，国务院信息化领导小组办公室制定了《我国电子政务一期工程建设方案》，该方案确定了“十五”期间重点建设的四大基础性、战略性资源数据库——“人口基础信息库”、“法人单位基础信息库”、“自然资源和空间地理基础信息库”、“宏牛宝体育观经济信息数据库”，简称四大基础信息库。

　　大数据发展到后期，当然是数据越多越好，企业内部的数据已经不能满足公司的需要，比如还是淘宝，想要对用户进行一个完整的画像分析，比如想获得用户的实时地位位置，爱好，星座，消费水平，开什么样的车等等，用于精准营销。淘宝自身的数据是不够的，这个时候，很多企业就会去购买一些数据（有些企业也会自己去爬取一些信息，这个相对简单一点），比如阿里购买高德，友盟，又另外采购微博的牛宝体育相关数据，用于用户的标签加工，获得更精准的用户画像。

　　欧盟已经出台了苛刻的数据保护条例，美国也对出售客户数据的运营商施以重罚，还处在萌芽状态的中国大数据行业，怎么确保用户隐私信息不被泄漏呢？对于一些非隐私信息，比如地理数据，气象数据，地图数据进行开放、交易、分析是非常有价值的，但是一旦涉及到用户的隐私数据，特别是单个人的隐私数据，就会涉及到道德与法律的风险。

　　数据交易之前的脱敏或许是一种解决办法，但是，并不能完全解决这个问题，因此，阿里也提出了另外一种解决思路，基于平台担保的“可用不可见”技术。比如阿里云作为交易平台，跟支付宝一样是一个中间担保机构，双方的数据上传到阿里云大数据交易平台，双方可以使用对方的数据，以获得特定的结果，比如通过上传一些算法，模型而获得结果，双方都不能看到对方的任何详细数据。

　　数据作为一种生产资料，跟农业时期的土地，工业时期的资本不一样，使用之后并不会消失，如果作为数据的购买者，这个数据的所有者到底是谁？怎么确保数据的购买者不会再次售卖这些数据？或者购买者加工了这些数据之后，加工之后的数据所有者是谁？

　　大数据营销中，目前用得最多的就是精准营销。数据交易中，最值钱的也是个人数据。我们日常分析中做的客户画像，目的就是给海量客户分群、打标签，然后针对性地开展定向营销和服务。然而如果利用用户的个人信息（比如年龄、性别、职业等）进行营销，必须事先征得用户的同意，才能向用户发送广告信息呢，还是可以直接使用？

　　所以，数据的交易与关联使用，就必须解决数据标准，立法以及监管的问题，在未来的时间里，不排除有专门的法律，甚至专业的监管机构，如成立数监会来监管数据的交易与使用问题。如果真的到了这一天，那也是好事，数据要流通起来才会发挥更大的价值，如果每个企业都只有自己的数据，就算消除了企业内部的信息孤岛，还有企业外部的信息孤岛。

　　如果能合理，合适的使用多方数据，就会发生所谓“羊毛出在猪身上”的事情，比如阿里小贷，使用的是B2B以及淘宝的数据。这样情况下，对猪（B2B，淘宝来）说，这是一种商业场景中的海量数据的溢出效应，而对羊（蚂蚁小贷）来说，是在较低的成本下、不同维度的数据集合后，发生化学反应的价值跃升的过程，这是大数据时代智能商业的典型特征。

　　这才是大数据的价值，也是在这时，我们才会更清楚，我们正在迎来的这个新时代以“数据”命名的理由