采集記錄足夠多的數(shù)據(jù)，使工作更加針對(duì)化和精準(zhǔn)化，這是大數(shù)據(jù)嗎？這不是大數(shù)據(jù)而只是數(shù)據(jù)化。

什么是大數(shù)據(jù)呢？例如洛杉磯警方曾對(duì)以往的刑事案件做了統(tǒng)計(jì)，通過算法得出了第二天的高概率犯罪地點(diǎn)，然后有針對(duì)性的派警察去該處巡邏，從而使得當(dāng)?shù)氐姆缸铿F(xiàn)象下降20%。這是大數(shù)據(jù)。

再比如，經(jīng)濟(jì)學(xué)家都認(rèn)為股票無(wú)法預(yù)測(cè)，而一位劍橋大學(xué)畢業(yè)的博士搞了個(gè)公司，對(duì)有史以來(lái)幾乎所有的證券交易的數(shù)據(jù)進(jìn)行記錄，然后通過算法進(jìn)行分析。

他對(duì)什么國(guó)家政策、公司業(yè)績(jī)、行業(yè)走向等等一眼都不看，100%地排除主觀意志的，只根據(jù)計(jì)算結(jié)果來(lái)進(jìn)行投資，最后賺了大錢。這是大數(shù)據(jù)。

大數(shù)據(jù)的精髓并不在于數(shù)據(jù)的精準(zhǔn)和數(shù)量，而在于對(duì)內(nèi)在規(guī)律的挖掘和對(duì)未來(lái)趨勢(shì)的預(yù)測(cè)。其思路是：一個(gè)結(jié)果是有很多原因的，原因作用的強(qiáng)度可能是隨機(jī)的，我們對(duì)其中作用的機(jī)理并不清楚。

我們難以找出規(guī)律性，但知道規(guī)律性就蘊(yùn)含在結(jié)果數(shù)據(jù)之中，如果我們能建設(shè)合適的模型，寫出好的算法，就有可能把這個(gè)規(guī)律性提煉出來(lái)，從而能科學(xué)地發(fā)現(xiàn)真相和預(yù)測(cè)未來(lái)。

今天上午在貴州省大數(shù)據(jù)中心看到了大數(shù)據(jù)應(yīng)用的事例。

金潤(rùn)建設(shè)和鵬潤(rùn)達(dá)這兩家企業(yè)分別投標(biāo)200多次，一次也沒中過，依然積極地投。投標(biāo)是要成本的，這兩家公司那里來(lái)的動(dòng)力？

通過大數(shù)據(jù)的知識(shí)挖掘技術(shù)，發(fā)現(xiàn)了它們總是陪著固定的一家公司一同招標(biāo)，最后總是那家公司中標(biāo)。圍標(biāo)、串標(biāo)、陪標(biāo)的秘密被大數(shù)據(jù)挖掘出來(lái)了????

數(shù)據(jù)蘊(yùn)含著無(wú)窮的價(jià)值，大數(shù)據(jù)就是“鉆石礦”，但必須善于挖掘。

關(guān)于大數(shù)據(jù)，只需要了解這幾點(diǎn)。

第一：什么是大數(shù)據(jù)

簡(jiǎn)而言之，大數(shù)據(jù)是指大數(shù)據(jù)集，這些數(shù)據(jù)集經(jīng)過計(jì)算分析可以用于揭示某個(gè)方面相關(guān)的模式和趨勢(shì)。數(shù)據(jù)量不在多，只要足以得出可靠的結(jié)論即可。

第二：如何獲取大數(shù)據(jù)

大數(shù)據(jù)無(wú)處不在，隨著時(shí)間的推移，一個(gè)簡(jiǎn)單的Google搜索就能夠找到幾乎所有的數(shù)據(jù)存儲(chǔ)庫(kù)。里面不知道有多少數(shù)據(jù)可用于訪問和分析。我現(xiàn)在這里提供一個(gè)可供學(xué)習(xí)的數(shù)據(jù)集列表：（https://www.kdnuggets.com/datasets/index.html）

第三：用這些數(shù)據(jù)做什么

數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)清洗、數(shù)據(jù)分析、數(shù)據(jù)可視化

1.數(shù)據(jù)采集

在發(fā)生任何事情之前，需要一些數(shù)據(jù)。這可以通過多種方式獲得，通常通過對(duì)公司W(wǎng)eb服務(wù)的API調(diào)用。尤其是我們?cè)诠ぷ髦杏龅降臄?shù)據(jù)很多都是來(lái)自系統(tǒng)內(nèi)的數(shù)據(jù)，來(lái)自數(shù)據(jù)庫(kù)的數(shù)據(jù)來(lái)自日志的數(shù)據(jù)。

數(shù)據(jù)采集常用的手段有：SQL／Python，其中SQL是數(shù)據(jù)分析的必備技能，Python是加分項(xiàng)。

2.數(shù)據(jù)存儲(chǔ)

大數(shù)據(jù)的主要難點(diǎn)在于如何管理數(shù)據(jù)的存儲(chǔ)。這完全取決于負(fù)責(zé)建立數(shù)據(jù)存儲(chǔ)的預(yù)算和個(gè)人具備的專業(yè)知識(shí)，因?yàn)榇蠖鄶?shù)需要一些編程知識(shí)來(lái)實(shí)施，一個(gè)良好的數(shù)據(jù)庫(kù)能讓我們直接地存儲(chǔ)和查詢數(shù)據(jù)。

3.數(shù)據(jù)清理

采集來(lái)的數(shù)據(jù)一般是不規(guī)整的，字段缺失或者有錯(cuò)誤是常有的事情，如果我們不對(duì)這些數(shù)據(jù)進(jìn)行清洗，分析出的結(jié)果就會(huì)出現(xiàn)各種異常。在數(shù)據(jù)清洗這一塊就需要用到一些簡(jiǎn)單的統(tǒng)計(jì)學(xué)基礎(chǔ)。

4.數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是發(fā)現(xiàn)數(shù)據(jù)庫(kù)內(nèi)的見解的過程。這樣做是為了能用掌握的數(shù)據(jù)提供預(yù)測(cè)和做出一些正確的決定，這部分往往涉及一些算法，也是最困難的部分。

5.數(shù)據(jù)分析

一旦收集完所有數(shù)據(jù)，就需要分析以尋找數(shù)據(jù)的模式和趨勢(shì)，發(fā)現(xiàn)一些不同尋常的地方，比如異常點(diǎn)或增長(zhǎng)點(diǎn)、下降點(diǎn)。

6.數(shù)據(jù)可視化

也許最重要的是數(shù)據(jù)的可視化。這是先完成所有工作并輸出理想情況下任何人都能理解的可視化的部分。最常使用某種編程語(yǔ)言（如Plot.ly、d3.js）或軟件（Tableau）來(lái)完成。

第四：就業(yè)前景

就根據(jù)教育部近日公布的2017年度高校本科專業(yè)備案和審批結(jié)果顯示，新增2311個(gè)專業(yè)中，“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”、“機(jī)器人工程”等專業(yè)熱度最高。大數(shù)據(jù)和人工智能一定是未來(lái)有美好前景的專業(yè)。從谷歌搜索熱度看，自2010年左右熱度只增不減。

歡迎各位或者各位的孩子們加入數(shù)據(jù)分析師的隊(duì)伍！

這里從大數(shù)據(jù)和AI人工智能關(guān)系層面做個(gè)簡(jiǎn)單的分享！

大數(shù)據(jù)：人工智能背后的基石

大數(shù)據(jù)是人工智能的基石，目前的深度學(xué)習(xí)主要是建立在大數(shù)據(jù)的基礎(chǔ)上，即對(duì)大數(shù)據(jù)進(jìn)行訓(xùn)練，并從中歸納出可以被計(jì)算機(jī)運(yùn)用在類似數(shù)據(jù)上的知識(shí)或規(guī)律。

簡(jiǎn)單而言何為大數(shù)據(jù)？

雖然很多人將其定義為“大數(shù)據(jù)就是大規(guī)模的數(shù)據(jù)”。

但是，這個(gè)說(shuō)法并不準(zhǔn)確！

“大規(guī)?！敝皇侵笖?shù)據(jù)的量而言。

數(shù)據(jù)量大，并不代表著數(shù)據(jù)一定有可以被深度學(xué)習(xí)算法利用的價(jià)值。

例如：地球繞太陽(yáng)運(yùn)轉(zhuǎn)的過程中，每一秒鐘記錄一次地球相對(duì)太陽(yáng)的運(yùn)動(dòng)速度、位置，可以得到大量數(shù)據(jù)?？扇绻挥羞@樣的數(shù)據(jù)，其實(shí)并沒有太多可以挖掘的價(jià)值！

大數(shù)據(jù)這里我們參閱馬丁·希爾伯特的總結(jié)，今天我們常說(shuō)的大數(shù)據(jù)其實(shí)是在2000年后，因?yàn)樾畔⒔粨Q、信息存儲(chǔ)、信息處理三個(gè)方面能力的大幅增長(zhǎng)而產(chǎn)生的數(shù)據(jù)：

信息交換：據(jù)估算，從1986年到2007年這20年間，地球上每天可以通過既有信息通道交換的信息數(shù)量增長(zhǎng)了約217倍，這些信息的數(shù)字化程度，則從1986年的約20%增長(zhǎng)到2007年的約99.9%。在數(shù)字化信息爆炸式增長(zhǎng)的過程里，每個(gè)參與信息交換的節(jié)點(diǎn)都可以在短時(shí)間內(nèi)接收并存儲(chǔ)大量數(shù)據(jù)。

信息存儲(chǔ)：全球信息存儲(chǔ)能力大約每3年翻一番。從1986年到2007年這20年間，全球信息存儲(chǔ)能力增加了約120倍，所存儲(chǔ)信息的數(shù)字化程度也從1986年的約1%增長(zhǎng)到2007年的約94%。1986年時(shí)，即便用上我們所有的信息載體、存儲(chǔ)手段，我們也不過能存儲(chǔ)全世界所交換信息的大約1%，而2007年這個(gè)數(shù)字已經(jīng)增長(zhǎng)到大約16%。信息存儲(chǔ)能力的增加為我們利用大數(shù)據(jù)提供了近乎無(wú)限的想象空間。

信息處理：有了海量的信息獲取能力和信息存儲(chǔ)能力，我們也必須有對(duì)這些信息進(jìn)行整理、加工和分析的能力。谷歌、Facebook等公司在數(shù)據(jù)量逐漸增大的同時(shí)，也相應(yīng)建立了靈活、強(qiáng)大的分布式數(shù)據(jù)處理集群。

大數(shù)據(jù)在應(yīng)用層面：大數(shù)據(jù)往往可以取代傳統(tǒng)意義上的抽樣調(diào)查、大數(shù)據(jù)都可以實(shí)時(shí)獲取、大數(shù)據(jù)往往混合了來(lái)自多個(gè)數(shù)據(jù)源的多維度信息、大數(shù)據(jù)的價(jià)值在于數(shù)據(jù)分析以及分析基礎(chǔ)上的數(shù)據(jù)挖掘和智能決策。

美國(guó)《大西洋月刊》公布的一段A.I.聊天記錄截圖

延伸閱讀：聊天機(jī)器人竟自創(chuàng)語(yǔ)言“對(duì)話” 臉書將其緊急關(guān)停

實(shí)際上人工智能的發(fā)展，離不開海量數(shù)據(jù)進(jìn)行訓(xùn)練，究其根本大數(shù)據(jù)的循環(huán)往復(fù)無(wú)數(shù)次的訓(xùn)練和深度學(xué)習(xí)才有了人工+智能！

實(shí)際上人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)以及云計(jì)算，彼此之間皆存在著千絲萬(wàn)縷的“親緣”關(guān)系?。?！

大數(shù)據(jù)是我的主要研究方向之一，同時(shí)也在帶大數(shù)據(jù)方向的研究生，所以我來(lái)回答一下這個(gè)問題。

首先，大數(shù)據(jù)技術(shù)是一系列圍繞數(shù)據(jù)價(jià)值化的技術(shù)總稱，包括數(shù)據(jù)采集技術(shù)、數(shù)據(jù)存儲(chǔ)技術(shù)、數(shù)據(jù)分析技術(shù)、數(shù)據(jù)呈現(xiàn)技術(shù)以及數(shù)據(jù)應(yīng)用技術(shù)等，其中大數(shù)據(jù)技術(shù)與物聯(lián)網(wǎng)技術(shù)、云計(jì)算技術(shù)、邊緣計(jì)算技術(shù)和人工智能技術(shù)有緊密的聯(lián)系。

按照目前大數(shù)據(jù)產(chǎn)業(yè)鏈的分布來(lái)說(shuō)，大數(shù)據(jù)技術(shù)是從數(shù)據(jù)采集技術(shù)開始的，目前主要的數(shù)據(jù)采集渠道包括物聯(lián)網(wǎng)系統(tǒng)（占比百分之90以上）、Web系統(tǒng)（含App）和傳統(tǒng)信息系統(tǒng)，比較常見的數(shù)據(jù)采集方式就是通?！芭老x”等方式來(lái)實(shí)現(xiàn)，另外涉及到數(shù)據(jù)清洗技術(shù)，重點(diǎn)在于Sql語(yǔ)言的學(xué)習(xí)和掌握。

數(shù)據(jù)分析是目前大數(shù)據(jù)技術(shù)的重點(diǎn)，數(shù)據(jù)分析技術(shù)有兩種常見的方式，分別是機(jī)器學(xué)習(xí)方式和統(tǒng)計(jì)學(xué)方式，不論采用哪種方式都需要具備一定的數(shù)學(xué)基礎(chǔ)和編程基礎(chǔ)。以機(jī)器學(xué)習(xí)方式為例，首先要掌握常見的機(jī)器學(xué)習(xí)算法，包括決策樹、k-mean、SVM、Apriori、EM、PageRank、kNN、樸素貝葉斯等，接下來(lái)需要通過編程語(yǔ)言完成算法實(shí)現(xiàn)，目前Python語(yǔ)言在機(jī)器學(xué)習(xí)領(lǐng)域有廣泛的使用。

通過Python語(yǔ)言來(lái)進(jìn)行數(shù)據(jù)分析需要掌握一些比較常見的庫(kù)，包括Numpy、Scipy、Matplotlib（用于結(jié)果呈現(xiàn)）、pandas等。Python語(yǔ)言借助于大量的庫(kù)能夠?yàn)閿?shù)據(jù)分析人員節(jié)省大量的時(shí)間，而且調(diào)整起來(lái)也比較方便。目前大數(shù)據(jù)比較常見的落地應(yīng)用就是數(shù)據(jù)分析，尤其是結(jié)合具體行業(yè)的場(chǎng)景大數(shù)據(jù)分析。

在產(chǎn)業(yè)互聯(lián)網(wǎng)領(lǐng)域，由于企業(yè)的數(shù)據(jù)具有高度的機(jī)密性，所以通常對(duì)于數(shù)據(jù)的應(yīng)用邊界有嚴(yán)格的要求，此時(shí)就需要采用云計(jì)算和邊緣計(jì)算相結(jié)合的數(shù)據(jù)處理方式，讓數(shù)據(jù)在網(wǎng)絡(luò)邊緣進(jìn)行處理，把結(jié)果返回到云端。

隨著大數(shù)據(jù)技術(shù)和5G網(wǎng)絡(luò)的逐漸落地應(yīng)用，大數(shù)據(jù)技術(shù)也將被賦予更多的含義，相信未來(lái)大數(shù)據(jù)技術(shù)體系會(huì)越來(lái)越龐大，相關(guān)的研究方向也會(huì)越來(lái)越多。

我從事互聯(lián)網(wǎng)行業(yè)多年，目前也在帶計(jì)算機(jī)專業(yè)的研究生，主要的研究方向集中在大數(shù)據(jù)和人工智能領(lǐng)域，我會(huì)陸續(xù)寫一些關(guān)于互聯(lián)網(wǎng)技術(shù)方面的文章，感興趣的朋友可以關(guān)注我，相信一定會(huì)有所收獲。

如果有互聯(lián)網(wǎng)方面的問題，或者考研方面的問題，都可以咨詢我，謝謝！

最簡(jiǎn)單和最常用的，淘寶推薦、頭條推薦，都是在數(shù)據(jù)篩查后，匯總用戶的喜好進(jìn)行的針對(duì)性推薦，日常中應(yīng)用非常廣泛。說(shuō)的貼切點(diǎn)就是數(shù)據(jù)的收集、篩查、檢索和應(yīng)用，通過關(guān)鍵詞的篩查，可以對(duì)事物的某一特質(zhì)進(jìn)行特征展示。

大數(shù)據(jù)的概念就不用過多介紹，海量的數(shù)據(jù)、廣泛的來(lái)源、眾多不同結(jié)構(gòu)、快速的采集以及高頻的變化等等，大數(shù)據(jù)從概念上跟數(shù)據(jù)中臺(tái)、數(shù)據(jù)湖泊有密切關(guān)系，技術(shù)上跟Hadoop、Spark、ElasticSearch、MPP有直接關(guān)聯(lián)。

現(xiàn)在掌握大數(shù)據(jù)主要政府、互聯(lián)網(wǎng)廠商，比如：在抗擊疫情上大數(shù)據(jù)發(fā)揮很大優(yōu)勢(shì)，雖然仍然還有不少有益的算法，大數(shù)據(jù)是對(duì)于疫情預(yù)測(cè)、預(yù)防、監(jiān)控、研究做出不可忽略的貢獻(xiàn)?；ヂ?lián)網(wǎng)廠商對(duì)大數(shù)據(jù)的應(yīng)用更是出神入化，甚至把你想的都能直接推送到手機(jī)上。海量數(shù)據(jù)背后是用戶畫像、強(qiáng)悍的算力、復(fù)雜的算法，以及眾多場(chǎng)景預(yù)設(shè)、不斷迭代優(yōu)化的機(jī)器學(xué)習(xí)。

對(duì)于大眾而言，個(gè)體以及個(gè)體的各種行為更多只是采集的數(shù)據(jù)樣本，絕大多數(shù)情況下，大數(shù)據(jù)方便了我們的生活，有些時(shí)候也泄露了個(gè)體的隱私，國(guó)家也在強(qiáng)化這一方面管理。如果升級(jí)到更高層面，大數(shù)據(jù)的使用也關(guān)系到國(guó)家安全、數(shù)據(jù)國(guó)家主權(quán)，近期國(guó)家對(duì)滴滴的相關(guān)舉措也是跟大數(shù)據(jù)安全息息相關(guān)。

對(duì)于企業(yè)而言，自身產(chǎn)生的數(shù)據(jù)量未必到大數(shù)據(jù)的量級(jí)，但大數(shù)據(jù)的思維、大數(shù)據(jù)使用的模式是有必要借鑒的，除了常規(guī)的生產(chǎn)/管理/經(jīng)營(yíng)數(shù)據(jù)分析，對(duì)于信息挖掘、經(jīng)營(yíng)預(yù)測(cè)、成本預(yù)算、發(fā)展決策方面都可以有用武之地，來(lái)推動(dòng)企業(yè)信息化升級(jí)到數(shù)據(jù)化、智能化階段。企業(yè)的大數(shù)據(jù)建設(shè)應(yīng)該從數(shù)據(jù)治理開始，包括主數(shù)據(jù)管理、數(shù)據(jù)集成、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析、數(shù)據(jù)場(chǎng)景、數(shù)據(jù)算法、數(shù)據(jù)服務(wù)等，數(shù)通暢聯(lián)主推的dPaaS數(shù)據(jù)中臺(tái)解決方案是公司核心產(chǎn)品：MDM主數(shù)據(jù)管理平臺(tái) + ESB數(shù)據(jù)總線平臺(tái) + DAP數(shù)據(jù)分析平臺(tái)的組合技術(shù)方案，跟K8S云平臺(tái)無(wú)縫結(jié)合，敏捷實(shí)現(xiàn)數(shù)據(jù)治理體系、加速企業(yè)數(shù)據(jù)價(jià)值呈現(xiàn)、助力企業(yè)數(shù)字化轉(zhuǎn)型。

數(shù)通暢聯(lián)專注于企業(yè)IT架構(gòu)、SOA綜合集成、數(shù)據(jù)治理分析領(lǐng)域，感謝您的閱讀與關(guān)注。

大數(shù)據(jù)，

又稱巨量資料，指的是所涉及的數(shù)據(jù)資料量規(guī)模巨大到無(wú)法通過人腦甚至主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。

簡(jiǎn)而言之，大數(shù)據(jù)就是數(shù)據(jù)量非常大、數(shù)據(jù)種類繁多、無(wú)法用常規(guī)歸類方法應(yīng)用計(jì)算的數(shù)據(jù)集成。大數(shù)據(jù)的收集、開發(fā)和利用，已經(jīng)成為了當(dāng)今社會(huì)的潮流之一，人們都認(rèn)為，對(duì)于大數(shù)據(jù)的分析應(yīng)用，對(duì)于政府和企業(yè)的決策是非常積極的，影響也是非常深遠(yuǎn)的。

大數(shù)據(jù)的采集、發(fā)掘與處理

大數(shù)據(jù)的采集與發(fā)掘與云計(jì)算是離不開的，與龐大的服務(wù)器空間也是分不開的。而現(xiàn)在的傾向就是租用云計(jì)算平臺(tái)進(jìn)行大數(shù)據(jù)的整理運(yùn)用，簡(jiǎn)單快捷，還不占地方。

大數(shù)據(jù)的應(yīng)用

一切皆可以大數(shù)據(jù)。

將人們所收集的各種數(shù)據(jù)分類匯總，最終通過高精尖的平臺(tái)運(yùn)算，分析其中的規(guī)律所在，就是大數(shù)據(jù)的應(yīng)用。如果數(shù)據(jù)收集得當(dāng)，任何行業(yè)、任何事情都可以運(yùn)用大數(shù)據(jù)尋找規(guī)律，最終做出最優(yōu)的小抉擇。無(wú)論從公司營(yíng)銷、政府決策、高速公路運(yùn)營(yíng)、農(nóng)場(chǎng)管理、來(lái)年預(yù)算等等，大大小小的事情都可以應(yīng)用大數(shù)據(jù)，并且從中獲利。

大數(shù)據(jù)的前景

大數(shù)據(jù)的前景并不僅僅是某一個(gè)行業(yè)的前景，一句話以蓋之——大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，并將從根本影響人類的生活。

大數(shù)據(jù)，在近幾年越來(lái)越受到人們的關(guān)注，盡管大數(shù)據(jù)概念已經(jīng)在各個(gè)行業(yè)中應(yīng)用逐漸變得廣泛起來(lái)，但是對(duì)于大多數(shù)的人來(lái)說(shuō)，大數(shù)據(jù)概念在他們眼里還是模糊不清的，那么，什么叫大數(shù)據(jù) 大數(shù)據(jù)是什么意思？下面就由中國(guó)IDC圈專家從大數(shù)據(jù)基本的定義和通俗舉例來(lái)為大家講解什么叫大數(shù)據(jù) 大數(shù)據(jù)是什么意思？

簡(jiǎn)單的來(lái)說(shuō)大數(shù)據(jù)基本定義是，可以按字面理解就是大量的數(shù)據(jù)，大數(shù)據(jù)的關(guān)鍵在于這些大量數(shù)據(jù)中所包含的信息，可以幫助我們洞察過去甚至預(yù)測(cè)未來(lái)。大數(shù)據(jù)的意義不僅僅在于大量的數(shù)據(jù)本身，而在于基于它之上所進(jìn)行的一系列的分析活動(dòng)，比如分類匯總、趨勢(shì)預(yù)測(cè)、數(shù)據(jù)挖掘等等，從而產(chǎn)生有價(jià)值的信息，幫助我們?nèi)ザ床爝^去和預(yù)測(cè)未來(lái)。

在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫的《大數(shù)據(jù)時(shí)代》 中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的4V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值）。

什么是大數(shù)據(jù)的4V特點(diǎn)？

例如：網(wǎng)購(gòu)

Volume(大量)：用戶進(jìn)行網(wǎng)上購(gòu)物，都能夠形成一系列隨時(shí)更新的數(shù)據(jù)，數(shù)據(jù)規(guī)模空前龐大，其中隱藏的價(jià)值也遠(yuǎn)遠(yuǎn)超出大部分人的預(yù)期。

Variety（多樣）：網(wǎng)上購(gòu)物可以買很多東西，比如家具用品、數(shù)碼產(chǎn)品等等。大數(shù)據(jù)的結(jié)構(gòu)也和網(wǎng)購(gòu)一樣復(fù)雜，僅僅以文件類型為例，就有圖片、文字、聲音、視頻等等，還有各種非結(jié)構(gòu)化數(shù)據(jù)，所以在利用這些資源之前，需要把他們進(jìn)行分類、處理等。

Value（價(jià)值）：網(wǎng)上購(gòu)物買的商品，有貴的，也有便宜的。比如貴的MacBook 電腦、便宜的毛巾等。在實(shí)際應(yīng)用中，大數(shù)據(jù)可以用于提升優(yōu)化企業(yè)的管理效率，發(fā)現(xiàn)新的商業(yè)機(jī)會(huì)，也能夠?qū)κ挛锏陌l(fā)展做出準(zhǔn)確的分析、預(yù)測(cè)等等。

Velocity（高速）：大數(shù)據(jù)分析要快，這就要求我們要能對(duì)整個(gè)數(shù)據(jù)進(jìn)行快速的掃描、篩選、處理。別人已經(jīng)在實(shí)施，你整理出來(lái)就沒有任何意義了。

最近“大數(shù)據(jù)”這個(gè)詞非常熱門，我也來(lái)談?wù)勎覍?duì)大數(shù)據(jù)的看法吧。到底什么是大數(shù)據(jù)呀？大數(shù)據(jù)這個(gè)詞為什么這么熱門？“大數(shù)據(jù)”已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)的領(lǐng)域當(dāng)中，是生產(chǎn)因素的重要部分。人們對(duì)“大數(shù)據(jù)”的挖掘和運(yùn)用，將迎來(lái)一個(gè)全新的社會(huì)面貌，給人們的生活帶來(lái)極大的便利。其實(shí)，“大數(shù)據(jù)”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)早有應(yīng)用，只是因?yàn)樽罱ヂ?lián)網(wǎng)和信息行業(yè)的發(fā)展才引起人們的關(guān)注。

到底什么是“大數(shù)據(jù)”呢？為了讓大家知道“大數(shù)據(jù)”到底是什么。我先來(lái)說(shuō)說(shuō)什么是“數(shù)據(jù)”吧。數(shù)據(jù)其實(shí)并不單單是數(shù)字，如果認(rèn)為數(shù)據(jù)只是數(shù)字的話那就大錯(cuò)特錯(cuò)了，其實(shí)數(shù)據(jù)有很多種，數(shù)據(jù)也可以是文字、圖像、聲音等，數(shù)據(jù)可以用于科學(xué)研究、設(shè)計(jì)、查證等。比較全面的解析是：數(shù)據(jù)是關(guān)于自然、社會(huì)現(xiàn)象和科學(xué)試驗(yàn)的定量或定性的記錄，是科學(xué)研究最重要的基礎(chǔ)；研究數(shù)據(jù)就是對(duì)數(shù)據(jù)進(jìn)行采集、分類、錄入、儲(chǔ)存、統(tǒng)計(jì)分析，統(tǒng)計(jì)檢驗(yàn)等一系列活動(dòng)的統(tǒng)稱。了解了什么是數(shù)據(jù)之后，那么“大數(shù)據(jù)”呢？“大數(shù)據(jù)”在“數(shù)據(jù)”前面加個(gè)“大”，無(wú)非就是龐大的數(shù)據(jù)，代表強(qiáng)大的數(shù)據(jù)量、數(shù)據(jù)流?，F(xiàn)在的社會(huì)是一個(gè)高速發(fā)展的社會(huì)，科技發(fā)達(dá)，信息流通，人們之間的交流越來(lái)越密切，生活也越來(lái)越方便，大數(shù)據(jù)就是這個(gè)高科技時(shí)代的產(chǎn)物。

大數(shù)據(jù)的核心內(nèi)容其實(shí)指的是：1）全部數(shù)據(jù)，大數(shù)據(jù)時(shí)代，所有有關(guān)聯(lián)的數(shù)據(jù)都會(huì)被采集和保留，例如，網(wǎng)絡(luò)大數(shù)據(jù)時(shí)代，完全記錄了你在哪家網(wǎng)絡(luò)平臺(tái)貸過款，只要貸過款，大數(shù)據(jù)就會(huì)保留記錄等等；2）大數(shù)據(jù)是大體方向，不是精確的制導(dǎo)，因?yàn)榇髷?shù)據(jù)之間關(guān)聯(lián)的數(shù)據(jù)非常多，不需要追求精確，引導(dǎo)大體方向即可。比如你去醫(yī)院檢查身體，大數(shù)據(jù)就會(huì)記錄了你的身體狀況，如果你過度肥胖，當(dāng)你吃想吃熱量過大的食品時(shí)，大數(shù)據(jù)會(huì)根據(jù)你的身體狀況提醒你，不讓你吃熱量高的食品，并督促你加強(qiáng)鍛煉身體。這就是大數(shù)據(jù)給出的大體方向；3）是相關(guān)關(guān)系，而不是因果關(guān)系：我們不再熱衷于找因果關(guān)系，尋找因果關(guān)系是人類長(zhǎng)久以來(lái)的習(xí)慣，在大數(shù)據(jù)時(shí)代，我們無(wú)須再緊盯事物之間的因果關(guān)系，而應(yīng)該尋找事物之間的相關(guān)關(guān)系;相關(guān)關(guān)系也許不能準(zhǔn)確地告訴我們某件事情為何會(huì)發(fā)生，但是它會(huì)提醒我們這件事情正在發(fā)生。

大數(shù)據(jù)具有數(shù)據(jù)量大、類型繁多、價(jià)值密度低、速度快、時(shí)效高的特征。以后大數(shù)據(jù)的趨勢(shì)應(yīng)該是：1）數(shù)據(jù)的資源化，大數(shù)據(jù)成為企業(yè)和社會(huì)關(guān)注的重要戰(zhàn)略資源，并已成為大家爭(zhēng)相搶奪的新焦點(diǎn)，搶占市場(chǎng)先機(jī)。2）與云計(jì)算的深度結(jié)合，大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺(tái)之一，物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)與大數(shù)據(jù)密不可分。3）科學(xué)理論的突破，目前大數(shù)據(jù)概念還處于初步階段，隨著大數(shù)據(jù)的快速發(fā)展，就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。4）數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立，大量數(shù)據(jù)的產(chǎn)生，必然會(huì)興起數(shù)據(jù)共享平臺(tái)，形成一條產(chǎn)業(yè)鏈。5）數(shù)據(jù)泄露泛濫，由于大數(shù)據(jù)興起階段，數(shù)據(jù)安全工作必然存在缺失，導(dǎo)致大量的數(shù)據(jù)相互流動(dòng)的時(shí)候，泄露嚴(yán)重。既有的技術(shù)架構(gòu)和路線，已經(jīng)無(wú)法高效處理如此海量的數(shù)據(jù)，而對(duì)于相關(guān)組織來(lái)說(shuō)，如果投入巨大采集的信息無(wú)法通過及時(shí)處理反饋有效信息，那將是得不償失的。可以說(shuō)，大數(shù)據(jù)時(shí)代對(duì)人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。6）數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度加強(qiáng)，大數(shù)據(jù)的世界是由大量的各種有關(guān)聯(lián)的數(shù)據(jù)結(jié)合在一起，形成一種數(shù)據(jù)生態(tài)系統(tǒng)，隨著數(shù)據(jù)的激烈競(jìng)爭(zhēng)，數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度必然增強(qiáng)。

近幾年才提出來(lái)“物聯(lián)網(wǎng)”概念，也是與大數(shù)據(jù)緊密結(jié)合在一起的，物聯(lián)網(wǎng)與大數(shù)據(jù)結(jié)合在一起，那將是一個(gè)全新的時(shí)代到來(lái)。 ucloud巴巴創(chuàng)辦人馬云來(lái)臺(tái)演講中就提到，未來(lái)的時(shí)代將不是IT時(shí)代，而是DT的時(shí)代，DT就是Data Technology數(shù)據(jù)科技，顯示大數(shù)據(jù)對(duì)于ucloud巴巴集團(tuán)來(lái)說(shuō)舉足輕重。

由此可見，大數(shù)據(jù)的到來(lái)，會(huì)給人們的生活帶來(lái)顛覆性的改變，人們對(duì)大數(shù)據(jù)的依賴性加強(qiáng)?？萍几l(fā)達(dá)，人們的生活水平更美好。

很高興能夠回答這個(gè)問題！

大數(shù)據(jù)時(shí)代已經(jīng)漫步在我們身邊，與我們的生活與工作已經(jīng)密不可分。我將從大數(shù)據(jù)的生活與工作應(yīng)用、大數(shù)據(jù)對(duì)生活與工作的影響兩個(gè)方面回答這個(gè)問題。

大數(shù)據(jù)的生活與工作應(yīng)用

大數(shù)據(jù)，又可以稱為海量數(shù)據(jù)與巨量數(shù)據(jù)，它有以下幾個(gè)顯著的特性：

• 數(shù)據(jù)量大

• 速率快

• 數(shù)據(jù)多樣性強(qiáng)

• 價(jià)值密度低

• 數(shù)據(jù)的真實(shí)性強(qiáng)

對(duì)應(yīng)在生活與工作中，大數(shù)據(jù)首先會(huì)通過互聯(lián)網(wǎng)的形式采取與收集我們生活與工作的大量數(shù)據(jù)，從而我們每個(gè)人間接地都是大數(shù)據(jù)時(shí)代的提供者。緊接著由于互聯(lián)網(wǎng)計(jì)算技術(shù)與機(jī)器學(xué)習(xí)技術(shù)的支撐，計(jì)算機(jī)會(huì)高效地精確地對(duì)我們這些產(chǎn)生的數(shù)據(jù)進(jìn)行分析，從而為我們進(jìn)行決策或者推薦。

在這樣一個(gè)過程中，也許我們產(chǎn)生的數(shù)據(jù)中有的是沒有價(jià)值的或者說(shuō)價(jià)值的密度是很低的，所以需要我們采取數(shù)據(jù)挖掘，與此同時(shí)，我們產(chǎn)生的數(shù)據(jù)的種類是繁多的，包括音頻、文字、視頻、圖片等等，這些都是計(jì)算機(jī)分析的對(duì)象，然而之前，我們對(duì)這些數(shù)據(jù)是無(wú)法進(jìn)行處理的。

大數(shù)據(jù)對(duì)生活與工作的影響

我們的生活習(xí)慣或者行為以前都是通過問卷調(diào)查的形式被捕捉的，但是這種方式獲取的價(jià)值是很低的，它們并不能真實(shí)的反應(yīng)我們的偏好或者效用。但現(xiàn)在我們的行為都被記錄到互聯(lián)網(wǎng)中，并以數(shù)據(jù)的方式保存著，可以說(shuō)，我們?cè)诨ヂ?lián)網(wǎng)時(shí)代一覽無(wú)余，這也是大數(shù)據(jù)時(shí)代的隱私安全所考慮的問題。

總的來(lái)說(shuō)，大數(shù)據(jù)會(huì)給以讓計(jì)算機(jī)更懂我們，會(huì)給我們提供有效的決策支持與興趣推薦，會(huì)帶給我們快樂，但是這種快樂是建立在我們的隱私之上的。

生活中我們必須懂得舍得，那么究竟舍誰(shuí)得誰(shuí)了，正如，to be or not to be,it is a question！