摘要：大數(shù)據(jù)除了體積和速度外，數(shù)據(jù)的多樣性和準(zhǔn)確性也是大數(shù)據(jù)的一大特點。這些也被稱為大數(shù)據(jù)的特征。介紹是一個解決大數(shù)據(jù)問題的分布式可伸縮的框架。介紹計算的模型最早出現(xiàn)在谷歌的一篇研究論文中。相關(guān)鏈接介紹是一個通用的分布式編程框架。

本文作者：foochane?
本文鏈接：https://foochane.cn/article/2019060601.html

大數(shù)據(jù)是這個時代最熱門的話題之一。但是什么是大數(shù)據(jù)呢?它描述了一個龐大的數(shù)據(jù)集，并且正在以驚人的速度增長。大數(shù)據(jù)除了體積(Volume)和速度(velocity)外，數(shù)據(jù)的多樣性(variety)和準(zhǔn)確性(veracity)也是大數(shù)據(jù)的一大特點。讓我們詳細(xì)討論體積、速度、多樣性和準(zhǔn)確性。這些也被稱為大數(shù)據(jù)的4V特征。

數(shù)據(jù)體積(Volume)指定要處理的數(shù)據(jù)量。對于大量數(shù)據(jù)，我們需要大型機器或分布式系統(tǒng)。計算時間隨數(shù)據(jù)量的增加而增加。所以如果我們能并行化計算，最好使用分布式系統(tǒng)。數(shù)據(jù)可以是結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)或介于兩者之間的數(shù)據(jù)。如果我們有非結(jié)構(gòu)化數(shù)據(jù)，那么情況就會變得更加復(fù)雜和計算密集型。你可能會想，大數(shù)據(jù)到底有多大?這是一個有爭議的問題。但一般來說，我們可以說，我們無法使用傳統(tǒng)系統(tǒng)處理的數(shù)據(jù)量被定義為大數(shù)據(jù)。現(xiàn)在讓我們討論一下數(shù)據(jù)的速度。

越來越多的組織機構(gòu)開始重視數(shù)據(jù)。每時每刻都在收集大量的數(shù)據(jù)。這意味著數(shù)據(jù)的速度在增加。一個系統(tǒng)如何處理這個速度?當(dāng)必須實時分析大量流入的數(shù)據(jù)時，問題就變得復(fù)雜了。許多系統(tǒng)正在開發(fā)，以處理這種巨大的數(shù)據(jù)流入。將傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)區(qū)別開來的另一個因素是數(shù)據(jù)的多樣性。

數(shù)據(jù)的多樣性使得它非常復(fù)雜，傳統(tǒng)的數(shù)據(jù)分析系統(tǒng)無法正確地分析它。我們說的是哪一種?數(shù)據(jù)不就是數(shù)據(jù)嗎?圖像數(shù)據(jù)不同于表格數(shù)據(jù)，因為它的組織和保存方式不同?？梢允褂脽o限數(shù)量的文件系統(tǒng)。每個文件系統(tǒng)都需要一種不同的方法來處理它。讀取和寫入JSON文件與處理CSV文件的方式不同?，F(xiàn)在，數(shù)據(jù)科學(xué)家必須處理數(shù)據(jù)類型的組合。您將要處理的數(shù)據(jù)可能是圖片、視頻、文本等的組合。大數(shù)據(jù)的多樣性使得分析變得更加復(fù)雜。

你能想象一個邏輯錯誤的計算機程序產(chǎn)生正確的輸出嗎?同樣，不準(zhǔn)確的數(shù)據(jù)將提供誤導(dǎo)的結(jié)果。準(zhǔn)確性，或數(shù)據(jù)正確性，是一個重要的問題。對于大數(shù)據(jù)，我們必須考慮數(shù)據(jù)的異常。

Hadoop是一個解決大數(shù)據(jù)問題的分布式、可伸縮的框架。Hadoop是由Doug Cutting和Mark Cafarella開發(fā)的。Hadoop是用Java編寫的。它可以安裝在一組商用硬件上，并且可以在分布式系統(tǒng)上水平擴展。

在商品硬件上工作使它非常高效。如果我們的工作是在商品硬件，故障是一個不可避免的問題。但是Hadoop為數(shù)據(jù)存儲和計算提供了一個容錯系統(tǒng)。這種容錯能力使得Hadoop非常流行。

Hadoop有兩個組件：第一個組件是HDFS(Hadoop Distributed File System)，它是一個分布式文件系統(tǒng)。第二個組件是MapReduce。HDFS用于分布式數(shù)據(jù)存儲，MapReduce用于對存儲在HDFS中的數(shù)據(jù)執(zhí)行計算。

HDFS用于以分布式和容錯的方式存儲大量數(shù)據(jù)。HDFS是用Java編寫的，在普通硬件上運行。它的靈感來自于谷歌文件系統(tǒng)(GFS)的谷歌研究論文。它是一個寫一次讀多次的系統(tǒng)，對大量的數(shù)據(jù)是有效的。HDFS有兩個組件NameNode和DataNode。

這兩個組件是Java守護進(jìn)程。NameNode負(fù)責(zé)維護分布在集群上的文件的元數(shù)據(jù)，它是許多datanode的主節(jié)點。HDFS將大文件分成小塊，并將這些塊保存在不同的datanode上。實際的文件數(shù)據(jù)塊駐留在datanode上。HDFS提供了一組類unix-shell的命令。但是，我們可以使用HDFS提供的Java filesystem API在更細(xì)的級別上處理大型文件。容錯是通過復(fù)制數(shù)據(jù)塊來實現(xiàn)的。

我們可以使用并行的單線程進(jìn)程訪問HDFS文件。HDFS提供了一個非常有用的實用程序，稱為distcp，它通常用于以并行方式將數(shù)據(jù)從一個HDFS系統(tǒng)傳輸?shù)搅硪粋€HDFS系統(tǒng)。它使用并行映射任務(wù)復(fù)制數(shù)據(jù)。

計算的MapReduce模型最早出現(xiàn)在谷歌的一篇研究論文中。Hadoop的MapReduce是Hadoop框架的計算引擎，它在HDFS中對分布式數(shù)據(jù)進(jìn)行計算。MapReduce已被發(fā)現(xiàn)可以在商品硬件的分布式系統(tǒng)上進(jìn)行水平伸縮。它也適用于大問題。在MapReduce中，問題的解決分為Map階段和Reduce階段。在Map階段，處理數(shù)據(jù)塊，在Reduce階段，對Map階段的結(jié)果運行聚合或縮減操作。Hadoop的MapReduce框架也是用Java編寫的。

MapReduce是一個主從模型。在Hadoop 1中，這個MapReduce計算由兩個守護進(jìn)程Jobtracker和Tasktracker管理。Jobtracker是處理許多任務(wù)跟蹤器的主進(jìn)程。Tasktracker是Jobtracker的從節(jié)點。但在Hadoop 2中，Jobtracker和Tasktracker被YARN取代。

我們可以使用框架提供的API和Java編寫MapReduce代碼。Hadoop streaming體模塊使具有Python和Ruby知識的程序員能夠編寫MapReduce程序。

MapReduce算法有很多用途。如許多機器學(xué)習(xí)算法都被Apache Mahout實現(xiàn)，它可以在Hadoop上通過Pig和Hive運行。

但是MapReduce并不適合迭代算法。在每個Hadoop作業(yè)結(jié)束時，MapReduce將數(shù)據(jù)保存到HDFS并為下一個作業(yè)再次讀取數(shù)據(jù)。我們知道，將數(shù)據(jù)讀入和寫入文件是代價高昂的活動。Apache Spark通過提供內(nèi)存中的數(shù)據(jù)持久性和計算，減輕了MapReduce的缺點。

更多關(guān)于Mapreduce 和 Mahout 可以查看如下網(wǎng)頁：

https://www.usenix.org/legacy/publications/library/proceedings/osdi04/tech/full_papers/dean/dean_html/index.html
https://mahout.apache.org/users/basics/quickstart.html

計算機科學(xué)是一個抽象的世界。每個人都知道數(shù)據(jù)是以位的形式出現(xiàn)的信息。像C這樣的編程語言提供了對機器和匯編語言的抽象。其他高級語言提供了更多的抽象。結(jié)構(gòu)化查詢語言(Structured Query Language, SQL)就是這些抽象之一。世界各地的許多數(shù)據(jù)建模專家都在使用SQL。Hadoop非常適合大數(shù)據(jù)分析。那么，了解SQL的廣大用戶如何利用Hadoop在大數(shù)據(jù)上的計算能力呢?為了編寫Hadoop的MapReduce程序，用戶必須知道可以用來編寫Hadoop的MapReduce程序的編程語言。

現(xiàn)實世界中的日常問題遵循一定的模式。一些問題在日常生活中很常見，比如數(shù)據(jù)操作、處理缺失值、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)匯總。為這些日常問題編寫MapReduce代碼對于非程序員來說是一項令人頭暈?zāi)垦５墓ぷ鳌＞帉懘a來解決問題不是一件很聰明的事情。但是編寫具有性能可伸縮性和可擴展性的高效代碼是有價值的?？紤]到這個問題，Apache Hive就在Facebook開發(fā)出來，它可以解決日常問題，而不需要為一般問題編寫MapReduce代碼。

根據(jù)Hive wiki的語言，Hive是一個基于Apache Hadoop的數(shù)據(jù)倉庫基礎(chǔ)設(shè)施。Hive有自己的SQL方言，稱為Hive查詢語言。它被稱為HiveQL，有時也稱為HQL。使用HiveQL, Hive查詢HDFS中的數(shù)據(jù)。Hive不僅運行在HDFS上，還運行在Spark和其他大數(shù)據(jù)框架上，比如Apache Tez。

Hive為HDFS中的結(jié)構(gòu)化數(shù)據(jù)向用戶提供了類似關(guān)系數(shù)據(jù)庫管理系統(tǒng)的抽象。您可以創(chuàng)建表并在其上運行類似sql的查詢。Hive將表模式保存在一些RDBMS中。Apache Derby是Apache Hive發(fā)行版附帶的默認(rèn)RDBMS。Apache Derby完全是用Java編寫的，是Apache License Version 2.0附帶的開源RDBMS。

HiveQL命令被轉(zhuǎn)換成Hadoop的MapReduce代碼，然后在Hadoop集群上運行。

了解SQL的人可以輕松學(xué)習(xí)Apache Hive和HiveQL，并且可以在日常的大數(shù)據(jù)數(shù)據(jù)分析工作中使用Hadoop的存儲和計算能力。PySpark SQL也支持HiveQL。您可以在PySpark SQL中運行HiveQL命令。除了執(zhí)行HiveQL查詢，您還可以直接從Hive讀取數(shù)據(jù)到PySpark SQL并將結(jié)果寫入Hive

相關(guān)鏈接：

https://cwiki.apache.org/confluence/display/Hive/Tutorial
https://db.apache.org/derby/

Apache Pig是一個數(shù)據(jù)流框架，用于對大量數(shù)據(jù)執(zhí)行數(shù)據(jù)分析。它是由雅虎開發(fā)的，并向Apache軟件基金會開放源代碼。它現(xiàn)在可以在Apache許可2.0版本下使用。Pig編程語言是一種Pig拉丁腳本語言。Pig松散地連接到Hadoop，這意味著我們可以將它連接到Hadoop并執(zhí)行許多分析。但是Pig可以與Apache Tez和Apache Spark等其他工具一起使用。

Apache Hive用作報告工具，其中Apache Pig用于提取、轉(zhuǎn)換和加載(ETL)。我們可以使用用戶定義函數(shù)(UDF)擴展Pig的功能。用戶定義函數(shù)可以用多種語言編寫，包括Java、Python、Ruby、JavaScript、Groovy和Jython。

Apache Pig使用HDFS讀取和存儲數(shù)據(jù)，Hadoop的MapReduce執(zhí)行算法。Apache Pig在使用Hadoop集群方面類似于Apache Hive。在Hadoop上，Pig命令首先轉(zhuǎn)換為Hadoop的MapReduce代碼。然后將它們轉(zhuǎn)換為MapReduce代碼，該代碼運行在Hadoop集群上。

Pig最好的部分是對代碼進(jìn)行優(yōu)化和測試，以處理日常問題。所以用戶可以直接安裝Pig并開始使用它。Pig提供了Grunt shell來運行交互式的Pig命令。因此，任何了解Pig Latin的人都可以享受HDFS和MapReduce的好處，而不需要了解Java或Python等高級編程語言。

相關(guān)鏈接

http://pig.apache.org/docs/

https://en.wikipedia.org/wiki/Pig_(programming_tool))
https://cwiki.apache.org/confluence/display/PIG/Index

Apache Kafka是一個發(fā)布-訂閱的分布式消息傳遞平臺。它由LinkedIn開發(fā)，并進(jìn)一步開源給Apache基金會。它是容錯的、可伸縮的和快速的。Kafka術(shù)語中的消息(數(shù)據(jù)的最小單位)通過Kafka服務(wù)器從生產(chǎn)者流向消費者，并且可以在稍后的時間被持久化和使用。

Kafka提供了一個內(nèi)置的API，開發(fā)人員可以使用它來構(gòu)建他們的應(yīng)用程序。接下來我們討論Apache Kafka的三個主要組件。

Kafka Producer 將消息生成到Kafka主題，它可以將數(shù)據(jù)發(fā)布到多個主題。

這是運行在專用機器上的Kafka服務(wù)器，消息由Producer推送到Broker。Broker將主題保存在不同的分區(qū)中，這些分區(qū)被復(fù)制到不同的Broker以處理錯誤。它本質(zhì)上是無狀態(tài)的，因此使用者必須跟蹤它所消費的消息。

Consumer從Kafka代理獲取消息。記住，它獲取消息。Kafka Broker不會將消息推送給Consumer;相反，Consumer從Kafka Broker中提取數(shù)據(jù)。Consumer訂閱Kafka Broker上的一個或多個主題，并讀取消息。Broker還跟蹤它所使用的所有消息。數(shù)據(jù)將在Broker中保存指定的時間。如果使用者失敗，它可以在重新啟動后獲取數(shù)據(jù)。

相關(guān)鏈接：

https://kafka.apache.org/docu...
https://kafka.apache.org/quic...

Apache Spark是一個通用的分布式編程框架。它被認(rèn)為非常適合迭代和批處理數(shù)據(jù)。它是在AMP實驗室開發(fā)的，它提供了一個內(nèi)存計算框架。它是開源軟件。一方面，它最適合批量處理，另一方面，它對實時或接近實時的數(shù)據(jù)非常有效。機器學(xué)習(xí)和圖形算法本質(zhì)上是迭代的，這就是Spark的神奇之處。根據(jù)它的研究論文，它比它的同行Hadoop快得多。數(shù)據(jù)可以緩存在內(nèi)存中。在迭代算法中緩存中間數(shù)據(jù)提供了驚人的快速處理。Spark可以使用Java、Scala、Python和R進(jìn)行編程。

如果您認(rèn)為Spark是經(jīng)過改進(jìn)的Hadoop，在某種程度上，確實是可以這么認(rèn)為的。因為我們可以在Spark中實現(xiàn)MapReduce算法，所以Spark使用了HDFS的優(yōu)點。這意味著它可以從HDFS讀取數(shù)據(jù)并將數(shù)據(jù)存儲到HDFS，而且它可以有效地處理迭代計算，因為數(shù)據(jù)可以保存在內(nèi)存中。除了內(nèi)存計算外，它還適用于交互式數(shù)據(jù)分析。

還有許多其他庫也位于PySpark之上，以便更容易地使用PySpark。下面我們將討論一些：

MLlib: MLlib是PySpark核心的一個包裝器，它處理機器學(xué)習(xí)算法。MLlib庫提供的機器學(xué)習(xí)api非常容易使用。MLlib支持多種機器學(xué)習(xí)算法，包括分類、聚類、文本分析等等。

ML: ML也是一個位于PySpark核心的機器學(xué)習(xí)庫。ML的機器學(xué)習(xí)api可以用于數(shù)據(jù)流。

GraphFrames: GraphFrames庫提供了一組api，可以使用PySpark core和PySpark SQL高效地進(jìn)行圖形分析。

數(shù)據(jù)科學(xué)家處理的大多數(shù)數(shù)據(jù)在本質(zhì)上要么是結(jié)構(gòu)化的，要么是半結(jié)構(gòu)化的。為了處理結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)集，PySpark SQL模塊是該PySpark核心之上的更高級別抽象。我們將在整本書中學(xué)習(xí)PySpark SQL。它內(nèi)置在PySpark中，這意味著它不需要任何額外的安裝。

使用PySpark SQL，您可以從許多源讀取數(shù)據(jù)。PySpark SQL支持從許多文件格式系統(tǒng)讀取，包括文本文件、CSV、ORC、Parquet、JSON等。您可以從關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)讀取數(shù)據(jù)，如MySQL和PostgreSQL。您還可以將分析報告保存到許多系統(tǒng)和文件格式。

DataFrames是一種抽象，類似于關(guān)系數(shù)據(jù)庫系統(tǒng)中的表。它們由指定的列組成。DataFrames是行對象的集合，這些對象在PySpark SQL中定義。DataFrames也由指定的列對象組成。用戶知道表格形式的模式，因此很容易對數(shù)據(jù)流進(jìn)行操作。

DataFrame?列中的元素將具有相同的數(shù)據(jù)類型。DataFrame?中的行可能由不同數(shù)據(jù)類型的元素組成。基本數(shù)據(jù)結(jié)構(gòu)稱為彈性分布式數(shù)據(jù)集(RDD)。數(shù)據(jù)流是RDD上的包裝器。它們是RDD或row對象。

相關(guān)鏈接：
https://spark.apache.org/docs/latest/sql-programming-guide.html

SparkSession對象是替換SQLContext和HiveContext的入口點。為了使PySpark SQL代碼與以前的版本兼容，SQLContext和HiveContext將繼續(xù)在PySpark中運行。在PySpark控制臺中，我們獲得了SparkSession對象。我們可以使用以下代碼創(chuàng)建SparkSession對象。

為了創(chuàng)建SparkSession對象，我們必須導(dǎo)入SparkSession，如下所示。

from pyspark.sql import SparkSession

導(dǎo)入SparkSession后，我們可以使用SparkSession.builder進(jìn)行操作：

spark = SparkSession.builder.appName("PythonSQLAPP") .getOrCreate()

appName函數(shù)將設(shè)置應(yīng)用程序的名稱。函數(shù)的作用是:返回一個現(xiàn)有的SparkSession對象。如果不存在SparkSession對象，getOrCreate()函數(shù)將創(chuàng)建一個新對象并返回它。

我們可以使用結(jié)構(gòu)化流框架(PySpark SQL的包裝器)進(jìn)行流數(shù)據(jù)分析。我們可以使用結(jié)構(gòu)化流以類似的方式對流數(shù)據(jù)執(zhí)行分析，就像我們使用PySpark SQL對靜態(tài)數(shù)據(jù)執(zhí)行批處理分析一樣。正如Spark流模塊對小批執(zhí)行流操作一樣，結(jié)構(gòu)化流引擎也對小批執(zhí)行流操作。結(jié)構(gòu)化流最好的部分是它使用了類似于PySpark SQL的API。因此，學(xué)習(xí)曲線很高。對數(shù)據(jù)流的操作進(jìn)行優(yōu)化，并以類似的方式在性能上下文中優(yōu)化結(jié)構(gòu)化流API。

SQL是一種聲明性語言。使用SQL，我們告訴SQL引擎要做什么。我們不告訴它如何執(zhí)行任務(wù)。類似地，PySpark SQL命令不會告訴它如何執(zhí)行任務(wù)。這些命令只告訴它要執(zhí)行什么。因此，PySpark SQL查詢在執(zhí)行任務(wù)時需要優(yōu)化。catalyst優(yōu)化器在PySpark SQL中執(zhí)行查詢優(yōu)化。PySpark SQL查詢被轉(zhuǎn)換為低級的彈性分布式數(shù)據(jù)集(RDD)操作。catalyst優(yōu)化器首先將PySpark SQL查詢轉(zhuǎn)換為邏輯計劃，然后將此邏輯計劃轉(zhuǎn)換為優(yōu)化的邏輯計劃。從這個優(yōu)化的邏輯計劃創(chuàng)建一個物理計劃。創(chuàng)建多個物理計劃。使用成本分析儀，選擇最優(yōu)的物理方案。最后，創(chuàng)建低層RDD操作代碼。

在分布式系統(tǒng)中，作業(yè)或應(yīng)用程序被分成不同的任務(wù)，這些任務(wù)可以在集群中的不同機器上并行運行。如果機器發(fā)生故障，您必須在另一臺機器上重新安排任務(wù)。

由于資源管理不善，分布式系統(tǒng)通常面臨可伸縮性問題。考慮一個已經(jīng)在集群上運行的作業(yè)。另一個人想做另一份工作。第二項工作必須等到第一項工作完成。但是這樣我們并沒有最優(yōu)地利用資源。資源管理很容易解釋，但是很難在分布式系統(tǒng)上實現(xiàn)。開發(fā)集群管理器是為了優(yōu)化集群資源的管理。有三個集群管理器可用于Spark單機、Apache Mesos和YARN。這些集群管理器最好的部分是，它們在用戶和集群之間提供了一個抽象層。由于集群管理器提供的抽象，用戶體驗就像在一臺機器上工作，盡管他們在集群上工作。集群管理器將集群資源調(diào)度到正在運行的應(yīng)用程序。

Apache Spark附帶一個單機集群管理器。它提供了一個主從架構(gòu)來激發(fā)集群。它是一個只使用spark的集群管理器。您只能使用這個獨立的集群管理器運行Spark應(yīng)用程序。它的組件是主組件和工作組件。工人是主過程的奴隸，它是最簡單的集群管理器?？梢允褂肧park的sbin目錄中的腳本配置Spark獨立集群管理器。

Apache Mesos是一個通用的集群管理器。它是在加州大學(xué)伯克利分校的AMP實驗室開發(fā)的。Apache Mesos幫助分布式解決方案有效地擴展。您可以使用Mesos在同一個集群上使用不同的框架運行不同的應(yīng)用程序。來自不同框架的不同應(yīng)用程序的含義是什么?這意味著您可以在Mesos上同時運行Hadoop應(yīng)用程序和Spark應(yīng)用程序。當(dāng)多個應(yīng)用程序在Mesos上運行時，它們共享集群的資源。Apache Mesos有兩個重要組件:主組件和從組件。這種主從架構(gòu)類似于Spark獨立集群管理器。運行在Mesos上的應(yīng)用程序稱為框架。奴隸告訴主人作為資源提供的可用資源。從機定期提供資源。主服務(wù)器的分配模塊決定哪個框架獲取資源。

YARN代表著另一個資源談判者(Resource Negotiator)。在Hadoop 2中引入了YARN來擴展Hadoop。資源管理與作業(yè)管理分離。分離這兩個組件使Hadoop的伸縮性更好。YARN的主要成分是資源管理器（Resource Manager)、應(yīng)用程序管理器(Application Master)和節(jié)點管理器(Node Manager)。有一個全局資源管理器，每個集群將運行許多節(jié)點管理器。節(jié)點管理器是資源管理器的奴隸。調(diào)度程序是ResourceManager的組件，它為集群上的不同應(yīng)用程序分配資源。最棒的部分是，您可以在YARN管理的集群上同時運行Spark應(yīng)用程序和任何其他應(yīng)用程序，如Hadoop或MPI。每個應(yīng)用程序有一個application master，它處理在分布式系統(tǒng)上并行運行的任務(wù)。另外，Hadoop和Spark有它們自己的ApplicationMaster。

相關(guān)鏈接:

https://spark.apache.org/docs/2.0.0/spark-standalone.html
https://spark.apache.org/docs/2.0.0/running-on-mesos.html
https://spark.apache.org/docs/2.0.0/running-on-yarn.html

關(guān)系數(shù)據(jù)庫管理系統(tǒng)在許多組織中仍然非常常見。這里的關(guān)系是什么意思?關(guān)系表。PostgreSQL是一個關(guān)系數(shù)據(jù)庫管理系統(tǒng)。它可以運行在所有主要的操作系統(tǒng)上，比如Microsoft Windows、基于unix的操作系統(tǒng)、MacOS X等等。它是一個開源程序，代碼在PostgreSQL許可下可用。因此，您可以自由地使用它，并根據(jù)您的需求進(jìn)行修改。

PostgreSQL數(shù)據(jù)庫可以通過其他編程語言(如Java、Perl、Python、C和c++)和許多其他語言(通過不同的編程接口)連接。還可以使用與PL/SQL類似的過程編程語言PL/pgSQL(過程語言/PostgreSQL)對其進(jìn)行編程。您可以向該數(shù)據(jù)庫添加自定義函數(shù)。您可以用C/ c++和其他編程語言編寫自定義函數(shù)。您還可以使用JDBC連接器從PySpark SQL中讀取PostgreSQL中的數(shù)據(jù)。

PostgreSQL遵循ACID(Atomicity, Consistency, Isolation and
Durability/原子性、一致性、隔離性和持久性)原則。它具有許多特性，其中一些是PostgreSQL獨有的。它支持可更新視圖、事務(wù)完整性、復(fù)雜查詢、觸發(fā)器等。PostgreSQL使用多版本并發(fā)控制模型進(jìn)行并發(fā)管理。

PostgreSQL得到了廣泛的社區(qū)支持。PostgreSQL被設(shè)計和開發(fā)為可擴展的。

相關(guān)鏈接：

https://wiki.postgresql.org/wiki/Main_Page
https://en.wikipedia.org/wiki/PostgreSQL
https://en.wikipedia.org/wiki/Multiversion_concurrency_control
http://postgresguide.com/

MongoDB是一個基于文檔的NoSQL數(shù)據(jù)庫。它是一個開放源碼的分布式數(shù)據(jù)庫，由MongoDB公司開發(fā)。MongoDB是用c++編寫的，它是水平伸縮的。許多組織將其用于后端數(shù)據(jù)庫和許多其他用途。

MongoDB附帶一個mongo shell，這是一個到MongoDB服務(wù)器的JavaScript接口。mongo shell可以用來運行查詢以及執(zhí)行管理任務(wù)。在mongo shell上，我們也可以運行JavaScript代碼。

使用PySpark SQL，我們可以從MongoDB讀取數(shù)據(jù)并執(zhí)行分析。我們也可以寫出結(jié)果。

相關(guān)鏈接：
https://docs.mongodb.com/

Cassandra是開放源碼的分布式數(shù)據(jù)庫，附帶Apache許可證。這是一個由Facebook開發(fā)的NoSQL數(shù)據(jù)庫。它是水平可伸縮的，最適合處理結(jié)構(gòu)化數(shù)據(jù)。它提供了高水平的一致性，并且具有可調(diào)的一致性。它沒有一個單一的故障點。它使用對等的分布式體系結(jié)構(gòu)在不同的節(jié)點上復(fù)制數(shù)據(jù)。節(jié)點使用閑話協(xié)議交換信息。

相關(guān)鏈接：

https://www.datastax.com/resources/tutorials
http://cassandra.apache.org/doc/latest/