Chapter1 大數(shù)據(jù)概述

Dean 發(fā)布于2021-09-09 09:33 / 852人閱讀

摘要：大數(shù)據(jù)時代第三次信息化浪潮年前后，以云計算大數(shù)據(jù)物聯(lián)網(wǎng)的首發(fā)為標志迎來第三次信息化浪潮。大數(shù)據(jù)的發(fā)展歷程大數(shù)據(jù)的概念和影響大數(shù)據(jù)的特性特性指。處理大規(guī)模圖結構數(shù)據(jù)。物聯(lián)網(wǎng)應用大數(shù)據(jù)云計算物聯(lián)網(wǎng)的關系三者相輔相成，既有聯(lián)系又有區(qū)別。

1.1 大數(shù)據(jù)時代

1.1.1第三次信息化浪潮

2010年前后，以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)的首發(fā)為標志迎來第三次信息化浪潮。

IT發(fā)展史歷經(jīng)的信息化浪潮如下：

1.1.2 大數(shù)據(jù)時代的到來需要技術支撐

主要表現(xiàn)為：

存儲設備容量不斷增加
CPU處理能力大幅提升
網(wǎng)絡帶寬不斷增加

1.1.3 數(shù)據(jù)產(chǎn)生方式的變革促進大數(shù)據(jù)時代到來

第一階段：運營式系統(tǒng)階段。實例：購物記錄。數(shù)據(jù)僅由運營系統(tǒng)生成。
第二階段：用戶原創(chuàng)內容階段。實例：微信。每個網(wǎng)民都成為自媒體，可以向網(wǎng)絡發(fā)送信息。但到此為止還不足以促進大數(shù)據(jù)時代到來。
第三階段：感知式系統(tǒng)階段。物聯(lián)網(wǎng)(IoT)的大規(guī)模普及，實現(xiàn)了萬物互聯(lián)。物聯(lián)網(wǎng)底層是感知層，比如攝像頭、傳感器，這些設備時刻生成大量數(shù)據(jù)，物聯(lián)網(wǎng)的興起促使了大數(shù)據(jù)時代到來。

1.1.4 大數(shù)據(jù)的發(fā)展歷程

1.2 大數(shù)據(jù)的概念和影響

1.2.1大數(shù)據(jù)的4V特性

4V特性指velocity、variety、value、volume。

(1)數(shù)據(jù)量大：
大數(shù)據(jù)摩爾定律（根據(jù)IDC作出的估測，數(shù)據(jù)一直都在以每年50%的速度增長，也就是說每兩年就增長一倍）。
人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當于之前產(chǎn)生的全部數(shù)據(jù)量。

(2)數(shù)據(jù)類型繁多：
大數(shù)據(jù)是由結構化和非結構化數(shù)據(jù)組成：

結構化數(shù)據(jù)存儲在關系型數(shù)據(jù)庫中，只占10%。
大部分都是非結構化數(shù)據(jù)，類型非常多。

(3)處理速度快：
目前很多企業(yè)都需要秒級決策。從數(shù)據(jù)的生成到消耗，時間窗口非常小，可用于生成決策的時間非常少。
1秒定律：這一點和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質的不同。

(4)價值密度低，商業(yè)價值高：
如此大量的數(shù)據(jù)，很多可能都是沒有價值的數(shù)據(jù)。比如監(jiān)控攝像頭時刻生成大量數(shù)據(jù)需要進行存儲，一旦發(fā)生案件時，攝像頭存儲的視頻才有用，但發(fā)生案件的幾率很小，因此價值密度低很低。

1.2.2大數(shù)據(jù)的影響

圖靈獎獲得者Jim Gray博士總結人類在科學研究上，先后經(jīng)歷了實驗、理論、計算和數(shù)據(jù)四種范式。

在思維方式方面，大數(shù)據(jù)完全顛覆了傳統(tǒng)的思維方式：

全樣而非抽樣
大數(shù)據(jù)時代之前，我們無法保存和分析所有數(shù)據(jù)，只能統(tǒng)計學采用抽樣進行分析，舍棄了很多數(shù)據(jù)，只抽取一部分數(shù)據(jù)進行存儲、計算、分析。
而現(xiàn)在我們有足夠的空間、可以構建服務器集群進行龐大數(shù)據(jù)處理，就可以做全樣的數(shù)據(jù)分析。
效率而非精確
之前在做抽樣統(tǒng)計時，需要不斷提高算法精度，因為抽樣計算的結果誤差放到全樣上會被放大，容易超出許可范圍。
而全樣分析不存在誤差放大的問題，不追求精確度，而追求時效性、追求效率。
相關而非因果
更多的追求事物的相關性，而不關注因果關系。不問為什么，只關注關聯(lián)性。

1.3 大數(shù)據(jù)的應用

1.3.1大數(shù)據(jù)的應用領域

1.3.2舉例：流感預測

谷歌使用大數(shù)據(jù)預測流感趨勢，利用搜索引擎實時收集用戶搜索的信息。
通常遇到疾病時，會首先使用搜索引擎搜索，然后再去醫(yī)院，這些搜索關鍵詞構成了龐大的數(shù)據(jù)庫。

1.4 大數(shù)據(jù)的關鍵技術

1.4.1大數(shù)據(jù)技術的層次

下圖為大數(shù)據(jù)技術的層次，最核心的大數(shù)據(jù)技術在數(shù)據(jù)存儲與管理、數(shù)據(jù)處理與分析這兩個層面。

1.4.2兩大核心技術

兩大核心技術指的是分布式存儲、分布式處理。

分布式存儲：解決海量數(shù)據(jù)的存儲問題。單機無法存儲海量數(shù)據(jù)時，就借助集群進行分布式存儲。

分布式處理：解決海量數(shù)據(jù)的處理問題。單機無法高效完成海量數(shù)據(jù)處理時，就使用集群進行分布式處理。

1.4.3大數(shù)據(jù)技術以谷歌公司技術為代表

1.4.4大數(shù)據(jù)計算模式

目前有許多大數(shù)據(jù)相關產(chǎn)品存在，這些產(chǎn)品可能用于批處理、實時計算、交互式計算，但是沒有任何一款產(chǎn)品可以滿足所有需求。因此不同計算模式需要使用不同的產(chǎn)品。
典型的計算模式可以分為四種：

批處理計算：典型代表為MapReduce、Spark。
用于解決大規(guī)模數(shù)據(jù)的批量處理。
不適合做實時交互式計算，做不到秒級響應。
其中Spark實時性比MapReduce更好，并且可以進行迭代計算，比如數(shù)據(jù)挖掘需要迭代計算時就需要使用Spark。
流計算：典型代表為Storm、S4、Flume、Streams、Puma、DStream、SuperMario、銀河流數(shù)據(jù)處理平臺等。
需要進行實時處理，給出實時響應，否則分析結果就會失去商業(yè)價值。

流計算框架如下：
圖計算：典型代表為Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等。
處理大規(guī)模圖結構數(shù)據(jù)。
現(xiàn)實生活中比如社交網(wǎng)絡、交通網(wǎng)絡都可以轉成圖結構進行處理。
查詢分析計算：典型代表為Hive、Dremel、Cassandra、Impala等。
用于大規(guī)模數(shù)據(jù)的存儲管理和查詢分析。

計算模式總結表如下：

1.5 大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關系

1.5.1云計算

云計算要解決兩大核心問題：即海量數(shù)據(jù)存儲和處理問題。

云計算典型特征：虛擬化、多租戶。

云計算的概念：通過網(wǎng)絡以服務的方式為用戶提供非常廉價的IT資源。

云計算的優(yōu)勢：企業(yè)不需要自建IT基礎設施，可以租用云端資源。

云計算的三種模式：公有云、混合云、私有云。
公有云舉例：百度云，面向所有用戶。
私有云舉例：電信、移動，面向企業(yè)內部。
混合云：部分給自己，部分給公眾。

三種云服務：IaaS、PaaS、SaaS

IaaS：基礎設置即服務
將基礎設施（計算資源和存儲）作為服務出租。
比如亞馬遜提供了EC2，可以直接購買并在環(huán)境上安裝系統(tǒng)和業(yè)務等，平臺已經(jīng)提供CPU等資源。
PaaS：平臺即服務
個體沒有能力獨立開發(fā)云計算產(chǎn)品，不具備環(huán)境。
比如新浪搭建了云計算分布式開發(fā)平臺Sina App Engine，可以購買后在新浪上開發(fā)、部署云服務。
SaaS：軟件即服務
將軟件作為服務出售。
典型案例：云財務軟件。
從一個集中的系統(tǒng)部署軟件，使之在一臺本地計算機上（或從云中遠程地）運行的一個模型。由于是計量服務，SaaS允許出租應用程序，并計時收費。

云計算關鍵技術：

多租戶：同時為多個用戶服務。
虛擬化：上機操作均基于Linux環(huán)境，可以利用虛擬化技術，再虛擬機上裝Linux系統(tǒng)。比如虛擬專用網(wǎng)VPN。

云計算數(shù)據(jù)中心：數(shù)據(jù)中心是云計算的溫床。各種數(shù)據(jù)和應用都位于數(shù)據(jù)中心。

全球各地大量建設數(shù)據(jù)中心：

數(shù)據(jù)中心投資非常高昂、耗能非常大，因此必需建設在地址結構穩(wěn)定、氣候涼爽的地方。

政務云、教育云、中小企業(yè)云、醫(yī)療云都是云計算的應用。

1.5.2物聯(lián)網(wǎng)

物聯(lián)網(wǎng)：IoT(The Internet of Things)

物聯(lián)網(wǎng)概念：物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸。

物聯(lián)網(wǎng)層次架構：

典型物聯(lián)網(wǎng)應用：智能公交。在公交車上的JPS定位相當于感知層，通過沿途基站傳輸信息，用戶通過因特網(wǎng)訪問。

物聯(lián)網(wǎng)的關鍵技術：

識別與感知技術（二維碼、RFID、傳感器等）
網(wǎng)絡與通信技術
數(shù)據(jù)挖掘與融合技術等。

物聯(lián)網(wǎng)應用：

1.5.3大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)的關系

三者相輔相成，既有聯(lián)系又有區(qū)別。

USDP大數(shù)據(jù)平臺 Kafka消息隊列海南州云藏大數(shù)據(jù)中心系統(tǒng)概述數(shù)據(jù)倉庫概述數(shù)據(jù)分析概述數(shù)據(jù)挖掘概述

文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://www.ezyhdfw.cn/yun/119621.html

chapter1:計算機網(wǎng)絡概述

摘要：在傳輸層前者提供面向連接的服務后者提供面向無連接或無連接的傳輸服務。共同點均實現(xiàn)異構網(wǎng)絡互聯(lián)，不同廠家數(shù)據(jù)通信網(wǎng)絡傳輸過程用戶自然語言通信數(shù)據(jù)應用層封裝分段數(shù)據(jù)單元協(xié)議控制信息網(wǎng)絡傳輸解封裝通信數(shù)據(jù)自然語言應用層用戶 ...

lidashuang 2021-10-14 09:42 評論0 收藏0
一起來學SpringBoot | 第一篇：構建第一個SpringBoot工程

摘要：由于本人更習慣使用所以后續(xù)案例都是基于與，同時這里是基于最新的編寫的哦創(chuàng)建項目初次接觸，我們先來看看如何創(chuàng)建一個項目，這里以為例，其他的工具小伙伴們自行搜索創(chuàng)建方式。創(chuàng)建完項目后，各位小伙伴請認真細心的對比下與傳統(tǒng)的工程有何區(qū)別如目錄結構。 SpringBoot 是為了簡化 Spring 應用的創(chuàng)建、運行、調試、部署等一系列問題而誕生的產(chǎn)物，自動裝配的特性讓我們可以更好的關注業(yè)務本身...

jayce 2019-08-16 12:34 評論0 收藏0
Chapter1 Java初識

摘要：簡介年由公司發(fā)布的一門面向對象的程序設計語言虛擬機。兩個主要組件編譯器源程序轉成字節(jié)碼運行編譯后的程序后綴運行時環(huán)境。 Lecture1 Java簡介 1995年由Sun公司發(fā)布的一門面向對象的程序設計語言 JVM(Java Virtual Machine)：Java虛擬機。是實現(xiàn)Java平臺無關性的關鍵Java程序的執(zhí)行流程：解釋執(zhí)行的過程由JVM來完成，即JVM把字節(jié)碼文件解釋...

K_B_Z 2019-08-15 13:51 評論0 收藏0
一起學并發(fā)編程 - 利用觀察者模式監(jiān)聽線程狀態(tài)

摘要：在前面的文章中介紹過觀察者模式及并發(fā)編程的基礎知識，為了讓大家更好的了解觀察者模式故而特意寫了這篇番外概述在多線程下我們需要知道當前執(zhí)行線程的狀態(tài)是什么比如運行，關閉，異常等狀態(tài)的通知，而且不僅僅是更新當前頁面。在前面的文章中介紹過觀察者模式及并發(fā)編程的基礎知識，為了讓大家更好的了解觀察者模式故而特意寫了這篇番外.. 概述在Java多線程下,我們需要知道當前執(zhí)行線程的狀態(tài)是...

Juven 2019-08-16 10:58 評論0 收藏0
一起學并發(fā)編程 - synchronized詳解

摘要：每個對象只有一個鎖與之相關聯(lián)。實現(xiàn)同步則是以系統(tǒng)開銷作為代價，甚至可能造成死鎖，所以盡量避免濫用。這種機制確保了同一時刻該類實例，所有聲明為的函數(shù)中只有一個方法處于可執(zhí)行狀態(tài)，從而有效避免了類成員變量訪問沖突。 synchronized是JAVA語言的一個關鍵字，使用 synchronized 來修飾方法或代碼塊的時候，能夠保證多個線程中最多只有一個線程執(zhí)行該段代碼 ... 概述 ...

acrazing 2019-08-15 11:57 評論0 收藏0