1.1 大數(shù)據(jù)時(shí)代

00 簡(jiǎn)要介紹

大數(shù)據(jù)真正被大家所熟知的時(shí)候也就是在2010年左右，而大數(shù)據(jù)的大背景是第三次信息化浪潮，第三次信息化浪潮就是以大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)三種新興技術(shù)為代表的人類信息化歷史上的第三次浪潮，在這之前，還有兩次信息化浪潮，具體如下：

01 時(shí)代背景的支撐

大數(shù)據(jù)時(shí)代的到來(lái)是必然要有一些相關(guān)的支撐，首要的就是技術(shù)支撐，主要分為三點(diǎn)：
① 存儲(chǔ) ：存儲(chǔ)設(shè)備容量不斷增加

② 計(jì)算 ：CPU 處理能力大幅提升

③ 網(wǎng)絡(luò) ：網(wǎng)絡(luò)帶寬不斷增加

其次是數(shù)據(jù)產(chǎn)生方式的變革：
① 第一階段（上世紀(jì)七八十年代）：運(yùn)營(yíng)式系統(tǒng)階段
例如，超市購(gòu)物時(shí)在數(shù)據(jù)庫(kù)系統(tǒng)中一條一條的生成購(gòu)物信息

② 第二階段（2002年附近）：用戶原創(chuàng)內(nèi)容階段
例如，博客、微博的出現(xiàn)，大眾每個(gè)人都是自媒體，每個(gè)人都可以在網(wǎng)絡(luò)上發(fā)布數(shù)據(jù)

③ 第三階段：感知式系統(tǒng)階段
這一階段是伴隨著物聯(lián)網(wǎng)的普及開(kāi)始的，物聯(lián)網(wǎng)底層是感知層，如攝像頭、傳感器等，這些設(shè)備無(wú)時(shí)無(wú)刻不在感知外界信息，可以說(shuō)物聯(lián)網(wǎng)的產(chǎn)生才真正導(dǎo)致了大數(shù)據(jù)的到來(lái)

由此可以簡(jiǎn)單的概括一下大數(shù)據(jù)的發(fā)展歷程：

1.2 大數(shù)據(jù)的概念和影響

00 大數(shù)據(jù)的 4V 特性?

① 數(shù)據(jù)量大（Volume 大量化）

• 大數(shù)據(jù)的摩爾定律
  • 人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量，其數(shù)據(jù)產(chǎn)生的非常塊

② 數(shù)據(jù)種類多（Variety 多樣化）

• 大數(shù)據(jù)的數(shù)據(jù)類型繁多
  • 大數(shù)據(jù)由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成，其中結(jié)構(gòu)化數(shù)據(jù)占10%左右，非結(jié)構(gòu)化數(shù)據(jù)占90%左右
    • 結(jié)構(gòu)化就是存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)
    • 非結(jié)構(gòu)化就是圖形、圖像之類的數(shù)據(jù)

③ 數(shù)據(jù)產(chǎn)生速度快（Velocity 快速化）

• 從數(shù)據(jù)的生成到消耗，時(shí)間窗口非常小，可用于生成決策的時(shí)間非常少
  • 不少企業(yè)級(jí)應(yīng)用都需要遵守秒級(jí)決策定律

④ Value 價(jià)值密度低

• 數(shù)據(jù)量大，價(jià)值密度低，商業(yè)價(jià)值高
  • 舉個(gè)例子：攝像頭每時(shí)每刻都在產(chǎn)生視頻數(shù)據(jù)，但這其中真正被我們用到的數(shù)據(jù)很少，如果一整年都沒(méi)出事，這些一整年的視頻數(shù)據(jù)就沒(méi)有任何作用，只有出事的那一刻，我們才會(huì)用到出事的那一刻的視頻數(shù)據(jù)，這就是數(shù)據(jù)的價(jià)值密度低

01 大數(shù)據(jù)的影響

① 科學(xué)研究的范式變化

• 第一種范式：實(shí)驗(yàn)
  • 如：伽利略比薩斜塔實(shí)驗(yàn)等
• 第二種范式：理論
  • 如：幾何定論、牛頓三大定律等
• 第三種范式：計(jì)算
  • 如：
• 第四種范式：數(shù)據(jù) （新增）
  • 以數(shù)據(jù)為驅(qū)動(dòng)
    • 我們不知道問(wèn)題是什么，問(wèn)題在哪，完全是以數(shù)據(jù)為驅(qū)動(dòng)，通過(guò)大數(shù)據(jù)分析發(fā)現(xiàn)問(wèn)題、解決問(wèn)題

② 思維方式的變化?

• 全樣而非抽樣

在之前，數(shù)據(jù)太多，無(wú)法保存和分析，統(tǒng)計(jì)學(xué)采用抽樣，而現(xiàn)在，我們可以對(duì)所有數(shù)據(jù)進(jìn)行分析

• 效率而非精確

在之前，抽樣分析要求的是精確而不是效率，這是因?yàn)槌闃臃治鲋皇浅槿〔糠謹(jǐn)?shù)據(jù)，而不是所有數(shù)據(jù)，如果抽樣計(jì)算的結(jié)果有誤差，放到全樣上，誤差會(huì)被放大；而現(xiàn)在全樣分析的誤差就是在全樣上，我們不需要刻意去追求精確，這時(shí)注意的就是效率，因?yàn)橐恍?shù)據(jù)是有時(shí)效性的，如果當(dāng)下沒(méi)有計(jì)算出來(lái)，那這個(gè)數(shù)據(jù)就失效了

• 相關(guān)而非因果
  大數(shù)據(jù)時(shí)代，我們不關(guān)心它們之間是為什么，我們只關(guān)心它們之間相互的關(guān)聯(lián)，例如，你在淘寶買了本書(shū)，它還會(huì)給你推薦其他書(shū)，它不會(huì)告訴你為什么，它只會(huì)跟你說(shuō)這些書(shū)之間有相關(guān)關(guān)系

1.3 大數(shù)據(jù)的應(yīng)用

大數(shù)據(jù)的應(yīng)用有很多，這里僅列舉一些例子：

00 影視劇的投拍

在之前，影視劇的投拍多是跟風(fēng)，看見(jiàn)哪個(gè)劇拍了之后火了，其他人也拍這類型的劇，但是它不一定火；而現(xiàn)在，通過(guò)大數(shù)據(jù)分析，我們可以分析出選用哪個(gè)演員哪個(gè)導(dǎo)演拍什么劇會(huì)火，例如，美劇《紙牌屋》就是大數(shù)據(jù)分析的結(jié)果，沒(méi)有大數(shù)據(jù)分析，沒(méi)有人知道要找這個(gè)演員和找這個(gè)導(dǎo)演然后拍這個(gè)劇會(huì)火

01 谷歌預(yù)測(cè)流感

在之前，美國(guó)的傳統(tǒng)流感預(yù)測(cè)方式就是各醫(yī)療機(jī)構(gòu)層層上報(bào)門診病歷，然后由專家匯總分析發(fā)布報(bào)告，一般來(lái)說(shuō)，這個(gè)報(bào)告會(huì)比真實(shí)情況延遲一到兩周；而谷歌則是用搜索引擎實(shí)時(shí)收集各類用戶查詢信息，通過(guò)大數(shù)據(jù)分析預(yù)測(cè)流感趨勢(shì)，這是因?yàn)楝F(xiàn)在大多數(shù)人遇到小病時(shí)，先是求助搜索引擎，其次才是去醫(yī)院，這樣一來(lái)，谷歌就可以根據(jù)一些關(guān)鍵字如感冒、發(fā)燒去分析流感趨勢(shì)，其預(yù)測(cè)結(jié)果也和美國(guó)疾控中心發(fā)布的報(bào)告結(jié)果基本吻合

03 新冠疫情地區(qū)分布圖

近兩年的新冠疫情，我們經(jīng)?？梢栽谑謾C(jī)上看到疫情的實(shí)時(shí)數(shù)據(jù)更新，其中的疫情地區(qū)分布圖就是大數(shù)據(jù)的一個(gè)應(yīng)用

1.4 大數(shù)據(jù)的關(guān)鍵技術(shù)

00 大數(shù)據(jù)技術(shù)的層次

大數(shù)據(jù)技術(shù)在以下四個(gè)層次都有發(fā)展：

• 數(shù)據(jù)采集
• 數(shù)據(jù)存儲(chǔ)與管理
• 數(shù)據(jù)處理與分析
• 數(shù)據(jù)隱私與安全

但近幾年發(fā)展的大數(shù)據(jù)的最核心的技術(shù)多在數(shù)據(jù)存儲(chǔ)與管理層和數(shù)據(jù)處理與分析層，由此可概括的兩大核心技術(shù)：
① 分布式存儲(chǔ)

• 解決海量數(shù)據(jù)的存儲(chǔ)問(wèn)題
  • 一臺(tái)機(jī)器無(wú)法存儲(chǔ)，我們就借助集群進(jìn)行分布式存儲(chǔ)

② 分布式處理

• 解決海量數(shù)據(jù)的處理問(wèn)題
  • 一臺(tái)機(jī)器無(wú)法高效完成數(shù)據(jù)處理，我們就借助集群進(jìn)行分布式處理

大數(shù)據(jù)技術(shù)原理與應(yīng)用這門課程的主要內(nèi)容就是將講這兩大核心技術(shù)，分布式存儲(chǔ)技術(shù)與分布式處理技術(shù)主要是以谷歌的技術(shù)為代表，這其中主要的技術(shù)就是 分布式數(shù)據(jù)庫(kù)Big Table、分布式文件系統(tǒng)GFS、分布式并行處理技術(shù)MapReduce

02 大數(shù)據(jù)計(jì)算模式?

現(xiàn)在有非常多的大數(shù)據(jù)技術(shù)相關(guān)產(chǎn)品的存在，但是企業(yè)中不同的應(yīng)用場(chǎng)景屬于不同的計(jì)算模式，需要使用不同的大數(shù)據(jù)技術(shù)，因此我們需要學(xué)會(huì)判斷計(jì)算模式并選擇合適的大數(shù)據(jù)技術(shù)相關(guān)產(chǎn)品
① 批處理計(jì)算

• 針對(duì)問(wèn)題：
  • 大規(guī)模數(shù)據(jù)的批量處理
• 批處理計(jì)算的代表產(chǎn)品：
  • MapReduce、Spark等
    • MapReduce
      • MapReduce 是批處理計(jì)算模式的典型代表，它就是把一堆數(shù)據(jù)拿過(guò)來(lái)作批量處理，它不適合用來(lái)做實(shí)時(shí)的交互式計(jì)算，無(wú)法滿足時(shí)效性的要求
    • Spark
      • Spark 的實(shí)時(shí)性要比 MapReduce 好，并且解決了 MapReduce 無(wú)法高效做迭代計(jì)算的問(wèn)題

② 流計(jì)算

• 針對(duì)問(wèn)題：
  • 流數(shù)據(jù)的實(shí)時(shí)計(jì)算
• 流數(shù)據(jù)需要實(shí)時(shí)處理，給出實(shí)時(shí)相應(yīng)，否則分析結(jié)果就會(huì)失去商業(yè)價(jià)值
• 流計(jì)算的代表產(chǎn)品：
  • S4、Storm、Flume、Streams、Puma、DStream、Super Mario、銀河流數(shù)據(jù)處理平臺(tái)等
• 流計(jì)算可以做秒級(jí)的針對(duì)實(shí)時(shí)運(yùn)算的數(shù)據(jù)

③ 圖計(jì)算

• 針對(duì)問(wèn)題：
  • 大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理
• 圖計(jì)算可以高效處理圖數(shù)據(jù)，如：
  • 社交網(wǎng)絡(luò)數(shù)據(jù)就是圖結(jié)構(gòu)數(shù)據(jù)
• 圖計(jì)算的代表產(chǎn)品：
  • Google Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等

④ 查詢分析計(jì)算

• 針對(duì)問(wèn)題：
  • 大規(guī)模數(shù)據(jù)的存儲(chǔ)管理和查詢分析
• 交互式的查詢計(jì)算
• 查詢分析計(jì)算的代表產(chǎn)品：
  -Google Dremel、Hive、Cassandra、Impala等

1.5 大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系

00 云計(jì)算

• 什么是云計(jì)算？云計(jì)算就是解決兩大核心問(wèn)題：分布式存儲(chǔ) 和 分布式處理

• 云計(jì)算的典型特征：虛擬化 和 多用戶

• 云計(jì)算的概念：云計(jì)算就是通過(guò)網(wǎng)絡(luò)以服務(wù)的方式為用戶提供非常廉價(jià)的IT資源

• 云計(jì)算的優(yōu)勢(shì)：企業(yè)不需自建IT基礎(chǔ)設(shè)施，可以租用云端資源

• 云計(jì)算的三種模式：

  • 公有云
    • 面向公眾
  • 私有云
    • 面向企業(yè)內(nèi)部
  • 混合云
    • 部分給自己，部分給外面

• ?三種云服務(wù)：

  • IaaS —— 基礎(chǔ)設(shè)施即服務(wù)
    • 將基礎(chǔ)設(shè)施（計(jì)算資源和存儲(chǔ)）作為服務(wù)出租
  • Paas —— 平臺(tái)即服務(wù)
    • 針對(duì)開(kāi)發(fā)者，開(kāi)發(fā)者開(kāi)發(fā)產(chǎn)品時(shí)調(diào)用平臺(tái)接口，將產(chǎn)品部署在平臺(tái)上，就可以使用平臺(tái)的云計(jì)算資源
  • SaaS —— 軟件即服務(wù)
    • 典型案例：云財(cái)務(wù)軟件
    • 不需要本地安裝軟件再使用，對(duì)方將整個(gè)軟件以服務(wù)的形式賣給你，只要有網(wǎng)絡(luò)，你就可以打開(kāi)手機(jī)或電腦對(duì)軟件進(jìn)行操作

• 云計(jì)算關(guān)鍵技術(shù)：虛擬化、分布式存儲(chǔ)、分布式計(jì)算、多租戶

01 物聯(lián)網(wǎng)

• 物聯(lián)網(wǎng)概念：

  • 物聯(lián)網(wǎng)(IoT : The Internet of Things) 就是物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸

• 物聯(lián)網(wǎng)層次架構(gòu)
  

• 物聯(lián)網(wǎng)的關(guān)鍵技術(shù)：識(shí)別技術(shù) 和 感知技術(shù)

• ?物聯(lián)網(wǎng)、云計(jì)算與大數(shù)據(jù)三者緊密先關(guān)，相輔相成

  • 物聯(lián)網(wǎng)可以借助于大數(shù)據(jù)實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和分析
    

1.6 小結(jié)

至此，我們簡(jiǎn)要了解了大數(shù)據(jù)的產(chǎn)生和發(fā)展、大數(shù)據(jù)的特性和影響、大數(shù)據(jù)的應(yīng)用和關(guān)鍵技術(shù)以及云計(jì)算的相關(guān)概念。

√ 圈重點(diǎn)：
? 大數(shù)據(jù)的4V特性
? 大數(shù)據(jù)的影響（科學(xué)范式、思維）
? 大數(shù)據(jù)計(jì)算模式（批處理計(jì)算、流計(jì)算、圖計(jì)算、查詢分析計(jì)算）
? 三種云服務(wù)
? 大數(shù)據(jù)、云計(jì)算與物聯(lián)網(wǎng)之間的關(guān)系