怎样利用大数据变废为（wéi）宝（bǎo）？

这几（jǐ）年很多人都在讨（tǎo）论（lùn）大数据，如果（guǒ）数据不经过处理，其实并不是（shì）有用（yòng）的。例如每天跑（pǎo）步（bù）带个（gè）手环收集的也是数据，网上这么多网站也是数据，简（jiǎn）称为Data，数据本身并没（méi）有什（shí）么作（zuò）用，但是（shì）数（shù）据里面包含一些（xiē）很重（chóng）要（yào）的东西，叫做信息(Information)，数据杂乱无章，只有经过（guò）了梳（shū）理和清洗（xǐ），才能够称为信（xìn）息。信息里面包含了很多规律，我们需要从众多信息中将规律总结出来，才能（néng）称为知识（shí），知（zhī）识才能改变命运（yùn）。

信息是很多的，但是很多人看到（dào）了信息相（xiàng）当于白看，但是有人（rén）就（jiù）能从（cóng）信息中（zhōng）看到了（le）电商的（de）未（wèi）来，有人看到（dào）了直播的（de）未来（lái），所（suǒ）以人家就牛了，如果没（méi）有从信息（xī）中（zhōng）提（tí）取出知识（shí），天天只知道刷朋友圈，也只（zhī）能（néng）在如今互联网滚（gǔn）滚大（dà）潮中做个看客（kè）。有了（le）知识，然后利用这些（xiē）知识去应（yīng）用于实践，有的人就会做得非常好，这个东西叫做智慧Intelligence。有知识并不一定（dìng）有智慧，很多学者很有知（zhī）识，已经发（fā）生（shēng）的事情可以从各（gè）个角度（dù）分析的头（tóu）头（tóu）是（shì）道，但一到实践就（jiù）歇（xiē）菜，并不能转化成为真正的智慧。而很多的创业家之所以（yǐ）伟大，就（jiù）是通过获得的知识应（yīng）用于（yú）实践，最后做成了（le）很大的（de）生意。

数据的处理分五（wǔ）个步骤，全部完成（chéng）了（le）才最（zuì）后才会升华智慧。第（dì）一个步（bù）骤：数据的收（shōu）集。首先得（dé）有数据，数（shù）据的收（shōu）集有两个（gè）方（fāng）式，第一个方式（shì）是拿(Pull)，专业点的叫爬取或者抓（zhuā）取，常见（jiàn）的搜（sōu）索引擎（qíng）就是（shì）这么（me）干的，它（tā）把网上的（de）信息都（dōu）下载到（dào）它的数据（jù）中（zhōng）心，然（rán）后被你（nǐ）搜索出来。比如你去搜索（suǒ）的时候，返（fǎn）回的是（shì）一个（gè）列表（biǎo），这个列表（biǎo）为什么会在搜索引擎的公司里面呢，就是因为他把（bǎ）这个（gè）数据都爬下来了。

但是（shì）你一点链接，点出来这个网站就不在搜索引擎它们公司了。比如（rú）说搜狐有个新闻，你拿百度搜出来，你不点的（de）时候，那一页在百度数据（jù）中（zhōng）心，一点出来（lái）的（de）网（wǎng）页就跳转到搜狐的（de）数据中心了。另（lìng）外一个方（fāng）式（shì）就是（shì）推送，有（yǒu）很多终（zhōng）端可以帮我收集数据，比如（rú）说智能手环，可以将你（nǐ）每天跑步（bù）的数据，血（xuè）压的数据，心（xīn）跳的（de）数据都上传到数据中心里（lǐ）面。

第二个步骤（zhòu）是数据的传输。常见的会通过队列方式进行（háng），数（shù）据量实在（zài）是太大（dà）了，数据（jù）必（bì）须经过处理才会有（yǒu）用，但（dàn）是（shì）系统处理不（bú）过来，只好（hǎo）排排队，一条条地处理。

第三个（gè）步骤（zhòu）是数据（jù）的存储。现在数（shù）据就是（shì）Money，掌（zhǎng）握（wò）了数据（jù）就相当于掌握了（le）金钱。要不（bú）然你看购物网（wǎng）站怎（zěn）么（me）知道你想买什么（me）呢？就是因为它有你历史的交易信息，然后通过（guò）这个信息分析（xī）出你的购物（wù）习惯。

第四个步（bù）骤是数据的处（chù）理和分析（xī）。上面存储（chǔ）的数据是（shì）原始数据，原始数据（jù）多是杂乱（luàn）的，还有很（hěn）多垃（lā）圾（jī）数（shù）据，因而（ér）需要清洗（xǐ）和（hé）过滤。对于整（zhěng）理过的（de）数据，就可以进（jìn）行分析，从而对数（shù）据进行归（guī）类，或者（zhě）发现数据之间（jiān）的相互（hù）关（guān）系。比如著名（míng）的啤酒（jiǔ）和纸（zhǐ）尿布的故事，就（jiù）是通过对人们的购买数（shù）据进行比对分析，发现了男人在（zài）买尿（niào）布的时候，会（huì）同时想要购买（mǎi）啤酒，这样（yàng）就发现了啤酒（jiǔ）和（hé）尿布之（zhī）间的对应关（guān）系，掌握了规律，然后应用（yòng）到实（shí）践中，将啤酒和尿布的柜台（tái）放到一（yī）起，这就是一种智慧。

第五个步骤就是对于（yú）数据（jù）的（de）检索和挖掘。检索就是搜（sōu）索，俗话（huà）说外事不决问谷歌，内（nèi）事不决问百度。两大搜索（suǒ）引（yǐn）擎都（dōu）是将分析归（guī）纳后的数据放（fàng）入搜索引擎，从（cóng）而方便人（rén）们找到（dào）想要的信息。还有一个就是挖掘（jué），搜索（suǒ）出来的信息还（hái）需要从中挖掘出相互的关系。例如财经检索，当搜索某个公司股（gǔ）票的时候，该公（gōng）司的管理层是不是也应该被挖掘（jué）出来?如果仅仅搜索（suǒ）出这个公司的股票涨的特别好，你（nǐ）就去（qù）买了，结（jié）果（guǒ）第二天就跌了，这不坑人么?所以通过各种（zhǒng）算法挖掘数（shù）据中的关（guān）系，形成（chéng）知（zhī）识（shí）数据库，十分重要。

数据分析是一项（xiàng）很有（yǒu）意思的技术，其功能就是帮我们梳理数据（jù），存储信息，并（bìng）从信息中总结规律。当数（shù）据（jù）量（liàng）很小的时候，几台机器就能（néng）分（fèn）析并解决（jué）问题。但是，慢慢的当数据量（liàng）越来越（yuè）大，大到最强的超级计算机都解决不（bú）了（le）问题的时候（hòu），该怎（zěn）么办呢？这时就要（yào）聚合多台机器的力量，也（yě）就是使用（yòng）云计算的力量。

对于数据的收集（jí），以物联网为例，外面部署这成千上亿的检测设备，将大量的（de）温度，湿度（dù），PH值，PM2.5等等数（shù）据统（tǒng）统（tǒng）收集上来，对于网页的搜索引擎来讲，需（xū）要（yào）将整（zhěng）个互联（lián）网所（suǒ）有的网页（yè）都下载下来，这显（xiǎn）然（rán）一台服务器做（zuò）不到，需要多台服务器组成分布式系统（tǒng），每台机器下载一部（bù）分，同时（shí）工作，才能（néng）在有限的时间内，将海量的（de）网页下（xià）载完（wán）毕。

对于数据的传输，一个（gè）内存里面的队列肯定会被大量的数据挤爆，于是就产生（shēng）了基于存（cún）储系统的分布式（shì）队列，这样的队列可以多台服（fú）务器同（tóng）时传（chuán）输，随你（nǐ）数据量多大，只要我的队伍足（zú）够多，队列足够粗，就能够撑得住。

对于数据（jù）的（de）存储（chǔ）也是一样（yàng），一台服务器的文件系统肯定是放不（bú）下了，那我们就做一个很大的分布式文件系统（tǒng）来做（zuò）这件事情（qíng），把（bǎ）多（duō）台（tái）机器（qì）的硬盘打成一块大（dà）的文件（jiàn）系统。再比如数（shù）据的分析，可能需要对大（dà）量（liàng）的数据（jù）做分类（lèi），统计，聚（jù）合，一台服务器肯定搞不定，处理几（jǐ）百年也分析不完，于是就有（yǒu）了分布（bù）式计算的方法，将大量的数据分成小份，每台服务器处（chù）理一小份，多（duō）台服务（wù）器并行（háng）处理（lǐ），很快就能算（suàn）完。