大數據入門指南（GitHub開源項目）

guyan0319 發(fā)布于2019-08-19 11:46 / 1041人閱讀

摘要：項目地址前言大數據技術棧思維導圖大數據常用軟件安裝指南一分布式文件存儲系統(tǒng)分布式計算框架集群資源管理器單機偽集群環(huán)境搭建集群環(huán)境搭建常用命令的使用基于搭建高可用集群二簡介及核心概念環(huán)境下的安裝部署和命令行的基本使用常用操作分區(qū)表和分桶表視圖

項目GitHub地址：https://github.com/heibaiying...

前言

大數據技術棧思維導圖

大數據常用軟件安裝指南

一、Hadoop

分布式文件存儲系統(tǒng)——HDFS

分布式計算框架——MapReduce

集群資源管理器——YARN

Hadoop單機偽集群環(huán)境搭建

Hadoop集群環(huán)境搭建

HDFS常用Shell命令

HDFS Java API的使用

基于Zookeeper搭建Hadoop高可用集群

二、Hive

Hive簡介及核心概念

Linux環(huán)境下Hive的安裝部署

Hive CLI和Beeline命令行的基本使用

Hive 常用DDL操作

Hive 分區(qū)表和分桶表

Hive 視圖和索引

Hive常用DML操作

Hive 數據查詢詳解

三、Spark

Spark Core :

Spark簡介

Spark開發(fā)環(huán)境搭建

彈性式數據集RDD

RDD常用算子詳解

Spark運行模式與作業(yè)提交

Spark累加器與廣播變量

基于Zookeeper搭建Spark高可用集群

Spark SQL :

DateFrame 和 DataSet

Structured API的基本使用

Spark SQL外部數據源

Spark SQL常用聚合函數

Spark SQL JOIN 操作

Spark Streaming ：

Spark Streaming 簡介

Spark Streaming 基本操作

Spark Streaming 整合 Flume

Spark Streaming 整合 Kafka

四、Storm

Storm和流處理簡介

Storm核心概念詳解

Storm單機環(huán)境搭建

Storm集群環(huán)境搭建

Storm編程模型詳解

Storm項目三種打包方式對比分析

Storm集成Redis詳解

Storm集成HDFS/HBase

Storm集成Kafka

五、Flink

TODO

六、HBase

Hbase 簡介

HBase系統(tǒng)架構及數據結構

HBase基本環(huán)境搭建(Standalone /pseudo-distributed mode)

HBase集群環(huán)境搭建

HBase常用Shell命令

HBase Java API

Hbase 過濾器詳解

HBase 協(xié)處理器詳解

HBase 容災與備份

HBase的SQL中間層——Phoenix

Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

Kafka 簡介

基于Zookeeper搭建Kafka高可用集群

Kafka 生產者詳解

Kafka 消費者詳解

深入理解Kafka副本機制

八、Zookeeper

Zookeeper 簡介及核心概念

Zookeeper單機環(huán)境和集群環(huán)境搭建

Zookeeper常用Shell命令

Zookeeper Java 客戶端——Apache Curator

Zookeeper ACL權限控制

九、Flume

Flume簡介及基本使用

Linux環(huán)境下Flume的安裝部署

Flume整合Kafka

十、Sqoop

Sqoop簡介與安裝

Sqoop的基本使用

十一、Azkaban

Azkaban簡介

Azkaban3.x 編譯及部署

Azkaban Flow 1.0 的使用

Azkaban Flow 2.0 的使用

十二、Scala

Scala簡介及開發(fā)環(huán)境配置

基本數據類型和運算符

流程控制語句

數組——Array

集合類型綜述

常用集合類型之——List & Set

常用集合類型之——Map & Tuple

類和對象

繼承和特質

函數 & 閉包 & 柯里化

模式匹配

類型參數

隱式轉換和隱式參數

十三、公共內容

大數據應用常用打包方式

后記

資料分享與開發(fā)工具推薦

項目GitHub地址：https://github.com/heibaiying...

USDP大數據平臺托管Hadoop集群大數據開源項目學習 GitHub 開源的小工具「GitHub webrtc開源程序github下載太慢入門大數據

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://www.ezyhdfw.cn/yun/77827.html

ApacheCN 編程/大數據/數據科學/人工智能學習資源 2019.6

摘要：請回復這個帖子并注明組織個人信息來申請加入。權限分配靈活，能者居之。數量超過個，在所有組織中排名前。網站日超過，排名的峰值為。導航歸檔社區(qū)自媒體平臺微博知乎專欄公眾號博客園簡書合作侵權，請聯系請抄送一份到贊助我們 Special Sponsors showImg(https://segmentfault.com/img/remote/1460000018907426?w=1760&h=...

Bmob 2019-06-26 19:01 評論0 收藏0
ApacheCN 編程/大數據/數據科學/人工智能學習資源 2019.5

摘要：請回復這個帖子并注明組織個人信息來申請加入。版筆記等到中文字幕翻譯完畢后再整理。數量超過個，在所有組織中排名前。網站日超過，排名的峰值為。主頁歸檔社區(qū)自媒體平臺微博知乎專欄公眾號博客園簡書合作侵權，請聯系請抄送一份到贊助我們 Special Sponsors showImg(https://segmentfault.com/img/remote/1460000018907426?w=1...

zhonghanwen 2019-06-26 18:55 評論0 收藏0
2018年最佳JavaScript數據可視化和圖表庫

摘要：它有什么圖表加粗文字如何使用這個圖表庫可以通過存儲庫下載或通過包管理器安裝。數據可以直接從文件加載到圖表中。它有什么圖表如何使用該庫可在包管理器和他們自己的內容傳送網絡中使用。該庫專為風格的數據可視化而設計，提供一系列高度可配置的圖表。現在有很多圖表庫，但哪一個最好用？這可能取決于許多因素，如業(yè)務需求，數據類型，圖表本身的目的等等。在本文中，每個JavaScript圖表庫將與一些關鍵...

terasum 2019-08-02 11:51 評論0 收藏0
2018年最佳JavaScript數據可視化和圖表庫

摘要：它有什么圖表加粗文字如何使用這個圖表庫可以通過存儲庫下載或通過包管理器安裝。數據可以直接從文件加載到圖表中。它有什么圖表如何使用該庫可在包管理器和他們自己的內容傳送網絡中使用。該庫專為風格的數據可視化而設計，提供一系列高度可配置的圖表。現在有很多圖表庫，但哪一個最好用？這可能取決于許多因素，如業(yè)務需求，數據類型，圖表本身的目的等等。在本文中，每個JavaScript圖表庫將與一些關鍵...

dreambei 2019-08-29 17:08 評論0 收藏0
2018年最佳JavaScript數據可視化和圖表庫

摘要：它有什么圖表加粗文字如何使用這個圖表庫可以通過存儲庫下載或通過包管理器安裝。數據可以直接從文件加載到圖表中。它有什么圖表如何使用該庫可在包管理器和他們自己的內容傳送網絡中使用。該庫專為風格的數據可視化而設計，提供一系列高度可配置的圖表。現在有很多圖表庫，但哪一個最好用？這可能取決于許多因素，如業(yè)務需求，數據類型，圖表本身的目的等等。在本文中，每個JavaScript圖表庫將與一些關鍵...

archieyang 2019-08-23 12:36 評論0 收藏0