大數(shù)據(jù)是我的主要研究方向之一，我使用Java的時(shí)間也比較久，多年前（2008年）還出版過Java的書籍，所以我來(lái)說一說Java與大數(shù)據(jù)的結(jié)合都需要學(xué)習(xí)哪些內(nèi)容。

大數(shù)據(jù)平臺(tái)與Java

首先Java是一門編程語(yǔ)言，而大數(shù)據(jù)則是一個(gè)產(chǎn)業(yè)領(lǐng)域，簡(jiǎn)單的說做大數(shù)據(jù)的相關(guān)研發(fā)可以使用Java語(yǔ)言來(lái)實(shí)現(xiàn)，Java是大數(shù)據(jù)領(lǐng)域的一個(gè)重要工具。

大數(shù)據(jù)行業(yè)涉及到諸多崗位，這些崗位主要圍繞數(shù)據(jù)展開，包括數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)以及應(yīng)用等。這些不同的崗位有不同的職責(zé)，所使用的工具也不盡相同。

在數(shù)據(jù)采集端往往與物聯(lián)網(wǎng)對(duì)接，當(dāng)然也有大量的傳統(tǒng)ERP系統(tǒng)，這部分崗位要對(duì)數(shù)據(jù)庫(kù)知識(shí)有全面的了解。目前有不少ERP系統(tǒng)都是采用Java語(yǔ)言開發(fā)的，當(dāng)然了解Java開發(fā)知識(shí)對(duì)這部分崗位也是有一定幫助的。

在數(shù)據(jù)的存儲(chǔ)端往往涉及到云計(jì)算平臺(tái)，云計(jì)算跟大數(shù)據(jù)的關(guān)系十分密切，主要涉及到數(shù)據(jù)的分布式存儲(chǔ)和分布式計(jì)算。一般情況下，云平臺(tái)是大數(shù)據(jù)的重要支撐，云計(jì)算平臺(tái)為大數(shù)據(jù)提供硬件資源，做云計(jì)算研發(fā)的Java程序員主要圍繞資源管理展開工作，嚴(yán)格的說這部分開發(fā)屬于云計(jì)算研發(fā)的范疇。

Java做大數(shù)據(jù)主要的應(yīng)用在數(shù)據(jù)分析和呈現(xiàn)上，使用Java做算法實(shí)現(xiàn)，做落地應(yīng)用。這部分知識(shí)涉及到Java基礎(chǔ)語(yǔ)法、JavaWeb開發(fā)、Java數(shù)據(jù)結(jié)構(gòu)、Java分布式開發(fā)等幾大方面的知識(shí)，另外需要掌握Hadoop及Spark平臺(tái)的開發(fā)API。

需要掌握的Java內(nèi)容

Java基礎(chǔ)語(yǔ)法部分圍繞類、對(duì)象、屬性和方法展開，包括封裝、繼承、多態(tài)等幾個(gè)核心概念的掌握。Java Web開發(fā)則包括Servlet、JSP、JavaBean等基本的Web組件，以及SpringMVC框架等知識(shí)的掌握。Java分布式開發(fā)則要掌握RMI，以及Java分布式框架的應(yīng)用。

由于Hadoop平臺(tái)本身就是基于Java構(gòu)建的，所以一般在Hadoop平臺(tái)下使用Java也是一個(gè)常見的選擇。Hadoop平臺(tái)為Java語(yǔ)言提供了一系列API，以方便Java在Hadoop平臺(tái)下的場(chǎng)景研發(fā)。

我在頭條上寫了關(guān)于Java的系列文章，包括Java基礎(chǔ)開發(fā)、Java并發(fā)、Java分布式開發(fā)和JavaWeb開發(fā)，感興趣的朋友可以關(guān)注我的頭條號(hào)，相信一定會(huì)有所收獲。

如果有Java、大數(shù)據(jù)方面的問題，也可以咨詢我。

謝謝！

Java是編程語(yǔ)言，編程語(yǔ)言可以用來(lái)開發(fā)各種應(yīng)用軟件，比如BS架構(gòu)的各類web系統(tǒng)，如電商系統(tǒng)，CRM系統(tǒng)，移動(dòng)運(yùn)營(yíng)商的業(yè)務(wù)運(yùn)營(yíng)管理系統(tǒng)，今日頭條等互聯(lián)網(wǎng)業(yè)務(wù)系統(tǒng)等等

而大數(shù)據(jù)狹義上來(lái)說，則是現(xiàn)實(shí)中各類海量數(shù)據(jù)的處理需求處理技術(shù)，比如電商系統(tǒng)里面，往往要根據(jù)海量的用戶瀏覽購(gòu)買行為記錄做各類運(yùn)算處理后，挖掘出各類有價(jià)值的信息來(lái)提高電商業(yè)務(wù)運(yùn)營(yíng)效率，支撐智能商品推薦； 在今日頭條里面，要根據(jù)海量用戶瀏覽行為和海量?jī)?nèi)容屬性進(jìn)行分析，以支撐為每個(gè)用戶提供個(gè)性化的內(nèi)容推薦等等。

當(dāng)然，這些數(shù)據(jù)處理的需求最終必定是通過程序來(lái)完成，而這些程序當(dāng)然可以使用Java語(yǔ)言來(lái)開發(fā)；

所以，Java是一個(gè)編程語(yǔ)言，你可以用它來(lái)開發(fā)業(yè)務(wù)功能系統(tǒng)，也可以用它來(lái)開發(fā)大數(shù)據(jù)處理系統(tǒng)，你甚至可以用它開發(fā)電腦桌面軟件，也可以開發(fā)安卓app

最后，Java能做的，基本上別的語(yǔ)言也能做，只是在不同領(lǐng)域由不同的需要各領(lǐng)風(fēng)騷

最最后，整體上說來(lái)，Java的使用范圍和使用規(guī)模，目前在各類語(yǔ)言中是排第一位的

階段一 JavaSE基礎(chǔ)核心

Java基礎(chǔ)語(yǔ)法

· 分支結(jié)構(gòu)if/switch

· 循環(huán)結(jié)構(gòu)for/while/do while

· 方法聲明和調(diào)用

· 方法重載

· 數(shù)組的使用

· 命令行參數(shù)、可變參數(shù)

IDEA

· IDEA常用設(shè)置、常用快捷鍵

· 自定義模板

· 關(guān)聯(lián)Tomcat

· Web項(xiàng)目案例實(shí)操

面向?qū)ο缶幊?/strong>

· 封裝、繼承、多態(tài)、構(gòu)造器、包

· 異常處理機(jī)制

· 抽象類、接口、內(nèi)部類

· 常有基礎(chǔ)API、集合List/Set/Map

· 泛型、線程的創(chuàng)建和啟動(dòng)

· 深入集合源碼分析、常見數(shù)據(jù)結(jié)構(gòu)解析

· 線程的安全、同步和通信、IO流體系

· 反射、類的加載機(jī)制、網(wǎng)絡(luò)編程

Java8/9/10/11
新特性

· Lambda表達(dá)式、方法引用

· 構(gòu)造器引用、StreamAPI

· jShell(JShell)命令

· 接口的私有方法、Optional加強(qiáng)

· 局部變量的類型推斷

· 更簡(jiǎn)化的編譯運(yùn)行程序等

MySQL

· DML語(yǔ)言、DDL語(yǔ)言、DCL語(yǔ)言

· 分組查詢、Join查詢、子查詢、Union查詢、函數(shù)

· 流程控制語(yǔ)句、事務(wù)的特點(diǎn)、事務(wù)的隔離級(jí)別等

JDBC

· 使用JDBC完成數(shù)據(jù)庫(kù)增刪改查操作

· 批處理的操作

· 數(shù)據(jù)庫(kù)連接池的原理及應(yīng)用

· 常見數(shù)據(jù)庫(kù)連接池C3P0、DBCP、Druid等

階段二 Hadoop生態(tài)體系架構(gòu)

Maven

· Maven環(huán)境搭建

· 本地倉(cāng)庫(kù)&中央倉(cāng)庫(kù)

· 創(chuàng)建Web工程

· 自動(dòng)部署

Linux

· VI/VIM編輯器

· 系統(tǒng)管理操作&遠(yuǎn)程登錄

· 常用命令

· 軟件包管理&企業(yè)真題

Shell編程

· 自定義變量與特殊變量

· 運(yùn)算符

· 條件判斷

· 流程控制

· 系統(tǒng)函數(shù)&自定義函數(shù)

· 常用工具命令

· 面試真題

Hadoop

· Hadoop生態(tài)介紹

· Hadoop運(yùn)行模式

· 源碼編譯

· HDFS文件系統(tǒng)底層詳解

· DN&NN工作機(jī)制

· HDFS的API操作

· MapReduce框架原理

· 數(shù)據(jù)壓縮

· Yarn工作機(jī)制

· MapReduce案例詳解

· Hadoop參數(shù)調(diào)優(yōu)

· HDFS存儲(chǔ)多目錄

· 多磁盤數(shù)據(jù)均衡

· LZO壓縮

· Hadoop基準(zhǔn)測(cè)試

Zookeeper

· Zookeeper數(shù)據(jù)結(jié)果

· 內(nèi)部原理

· 選舉機(jī)制

· Stat結(jié)構(gòu)體

· 監(jiān)聽器

· 分布式安裝部署

· API操作

· 實(shí)戰(zhàn)案例

· 面試真題

· 啟動(dòng)停止腳本

HA+新特性

· HDFS-HA集群配置

Hive

· Hive架構(gòu)原理

· 安裝部署

· 遠(yuǎn)程連接

· 常見命令及基本數(shù)據(jù)類型

· DML數(shù)據(jù)操作

· 查詢語(yǔ)句

· Join&排序

· 分桶&函數(shù)

· 壓縮&存儲(chǔ)

· 企業(yè)級(jí)調(diào)優(yōu)

· 實(shí)戰(zhàn)案例

· 面試真題

Flume

· Flume架構(gòu)

· Agent內(nèi)部原理

· 事務(wù)

· 安裝部署

· 實(shí)戰(zhàn)案例

· 自定義Source

· 自定義Sink

· Ganglia監(jiān)控

Kafka

· 消息隊(duì)列

· Kafka架構(gòu)

· 集群部署

· 命令行操作

· 工作流程分析

· 分區(qū)分配策略

· 數(shù)據(jù)寫入流程

· 存儲(chǔ)策略

· 高階API

· 低級(jí)API

· 攔截器

· 監(jiān)控

· 高可靠性存儲(chǔ)

· 數(shù)據(jù)可靠性和持久性保證

· ISR機(jī)制

· Kafka壓測(cè)

· 機(jī)器數(shù)量計(jì)算

· 分區(qū)數(shù)計(jì)算

· 啟動(dòng)停止腳本

DataX

· 安裝

· 原理

· 數(shù)據(jù)一致性

· 空值處理

· LZO壓縮處理

階段三 Spark生態(tài)體系架構(gòu)

Scala

· Scala基礎(chǔ)入門

· 函數(shù)式編程

· 數(shù)據(jù)結(jié)構(gòu)

· 面向?qū)ο缶幊?/p>

· 模式匹配

· 高階函數(shù)

· 特質(zhì)

· 注解&類型參數(shù)

· 隱式轉(zhuǎn)換

· 高級(jí)類型

· 案例實(shí)操

Spark Core

· 安裝部署

· RDD概述

· 編程模型

· 持久化&檢查點(diǎn)機(jī)制

· DAG

· 算子詳解

· RDD編程進(jìn)階

· 累加器&廣播變量

Spark SQL

· SparkSQL

· DataFrame

· DataSet

· 自定義UDF&UDAF函數(shù)

Spark Streaming

· SparkStreaming

· 背壓機(jī)制原理

· Receiver和Direct模式原理

· Window原理及案例實(shí)操

· 7x24 不間斷運(yùn)行&性能考量

Spark內(nèi)核&優(yōu)化

· 內(nèi)核源碼詳解

· 優(yōu)化詳解

Hbase

· Hbase原理及架構(gòu)

· 數(shù)據(jù)讀寫流程

· API使用

· 與Hive和Sqoop集成

· 企業(yè)級(jí)調(diào)優(yōu)

Presto

· Presto的安裝部署

· 使用Presto執(zhí)行數(shù)倉(cāng)項(xiàng)目的即席查詢模塊

Ranger2.0

· 權(quán)限管理工具Ranger的安裝和使用

Azkaban3.0

· 任務(wù)調(diào)度工具Azkaban3.0的安裝部署

· 使用Azkaban進(jìn)行項(xiàng)目任務(wù)調(diào)度，實(shí)現(xiàn)電話郵件報(bào)警

Kylin3.0

· Kylin的安裝部署

· Kylin核心思想

· 使用Kylin對(duì)接數(shù)據(jù)源構(gòu)建模型

Atlas2.0

· 元數(shù)據(jù)管理工具Atlas的安裝部署

Zabbix

· 集群監(jiān)控工具Zabbix的安裝部署

DolphinScheduler

· 任務(wù)調(diào)度工具DolphinScheduler的安裝部署

· 實(shí)現(xiàn)數(shù)倉(cāng)項(xiàng)目任務(wù)的自動(dòng)化調(diào)度、配置郵件報(bào)警

Superset

· 使用SuperSet對(duì)數(shù)倉(cāng)項(xiàng)目的計(jì)算結(jié)果進(jìn)行可視化展示

Echarts

· 使用Echarts對(duì)數(shù)倉(cāng)項(xiàng)目的計(jì)算結(jié)果進(jìn)行可視化展示

Redis

· Redis安裝部署

· 五大數(shù)據(jù)類型

· 總體配置

· 持久化

· 事務(wù)

· 發(fā)布訂閱

· 主從復(fù)制

Canal

· 使用Canal實(shí)時(shí)監(jiān)控MySQL數(shù)據(jù)變化采集至實(shí)時(shí)項(xiàng)目

階段四 Flink生態(tài)體系架構(gòu)

Flink

· 運(yùn)行時(shí)架構(gòu)

· 數(shù)據(jù)源Source

· Window API

· Water Mark

· 狀態(tài)編程

· CEP復(fù)雜事件處理

Flink SQL

· Flink SQL和Table API詳細(xì)解讀

Flink 內(nèi)核

· Flink內(nèi)核源碼講解

· 經(jīng)典面試題講解

Git&GitHub

· 安裝配置

· 本地庫(kù)搭建

· 基本操作

· 工作流

· 集中式

ClickHouse

· ClickHouse的安裝部署

· 讀寫機(jī)制

· 數(shù)據(jù)類型

· 執(zhí)行引擎

DataV

· 使用DataV對(duì)實(shí)時(shí)項(xiàng)目需求計(jì)算結(jié)果進(jìn)行可視化展示

sugar

· 結(jié)合Springboot對(duì)接百度sugar實(shí)現(xiàn)數(shù)據(jù)可視化大屏展示

Maxwell

· 使用Maxwell實(shí)時(shí)監(jiān)控MySQL數(shù)據(jù)變化采集至實(shí)時(shí)項(xiàng)目

ElasticSearch

· ElasticSearch索引基本操作、案例實(shí)操

Kibana

· 通過Kibana配置可視化分析

Springboot

· 利用Springboot開發(fā)可視化接口程序

階段五 項(xiàng)目實(shí)戰(zhàn)階段

數(shù)據(jù)采集平臺(tái)項(xiàng)目

離線數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目

Spark實(shí)時(shí)分析項(xiàng)目

Flink實(shí)時(shí)數(shù)倉(cāng)項(xiàng)目

推薦和機(jī)器學(xué)習(xí)項(xiàng)目

用戶畫像項(xiàng)目

在線教育項(xiàng)目

ucloud云電商項(xiàng)目