{eval=Array;=+count(Array);}
很多初學(xué)者在學(xué)習(xí)大數(shù)據(jù)之前往往都有這樣一個(gè)疑問,那就是學(xué)習(xí)多久才能掌握相關(guān)的技術(shù),達(dá)到就業(yè)崗位的要求?
要想知道類似問題的答案需要從多個(gè)角度來分析,大數(shù)據(jù)本身涉及到一系列圍繞數(shù)據(jù)的相關(guān)技術(shù),這些技術(shù)涉及到大數(shù)據(jù)平臺技術(shù)、大數(shù)據(jù)開發(fā)技術(shù)、數(shù)據(jù)分析技術(shù)、數(shù)據(jù)呈現(xiàn)技術(shù)、數(shù)據(jù)采集整理技術(shù)等等,這些技術(shù)既有區(qū)別又有聯(lián)系,相關(guān)技術(shù)也都有相對應(yīng)的崗位,所以作為學(xué)習(xí)者來說應(yīng)該選擇一個(gè)細(xì)分方向來學(xué)習(xí),而不能簡單的說學(xué)習(xí)大數(shù)據(jù)。
目前大數(shù)據(jù)的相關(guān)崗位以大數(shù)據(jù)開發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)運(yùn)維居多,所以就從這幾個(gè)方面來簡單的分析一下需要學(xué)習(xí)哪些知識,以及一個(gè)大致的學(xué)習(xí)周期。
大數(shù)據(jù)開發(fā)是基于大數(shù)據(jù)平臺進(jìn)行的功能性開發(fā),學(xué)習(xí)可以分為三個(gè)階段,分別是編程語言、大數(shù)據(jù)平臺和案例開發(fā)。編程語言往往以學(xué)習(xí)Java、Python和Scala居多,通常情況下編程語言的學(xué)習(xí)是比較耗費(fèi)時(shí)間的,按照歷史經(jīng)驗(yàn)來看,對于沒有編程語言的人來說,入門編程語言大概需要3個(gè)月左右的時(shí)間??匆幌峦粋€(gè)操作采用Python、Scala和Java編寫的代碼實(shí)現(xiàn)過程:
接著要學(xué)習(xí)一下如何搭建基礎(chǔ)的大數(shù)據(jù)平臺,這部分知識對于大數(shù)據(jù)開發(fā)人員來說并不是重點(diǎn),但是基本的搭建過程是應(yīng)該掌握的,搭建Hadoop平臺和Spark平臺往往也需要大量的實(shí)驗(yàn),另外還需要掌握大數(shù)據(jù)平臺的體系結(jié)構(gòu)和功能組成,這部分的學(xué)習(xí)時(shí)間大概需要2個(gè)月左右。接著就是在大數(shù)據(jù)平臺下進(jìn)行項(xiàng)目開發(fā)了,這部分學(xué)習(xí)時(shí)間可長可短,一般完成一個(gè)綜合性的大數(shù)據(jù)開發(fā)實(shí)驗(yàn)也需要1個(gè)月左右的時(shí)間,這樣算下來,入門大數(shù)據(jù)開發(fā)大概需要6個(gè)月左右的時(shí)間。
大數(shù)據(jù)分析需要學(xué)習(xí)的內(nèi)容與大數(shù)據(jù)開發(fā)有一定的區(qū)別,大數(shù)據(jù)分析需要學(xué)習(xí)各種分析算法以及各種數(shù)據(jù)分析軟件的使用。另外,目前采用機(jī)器學(xué)習(xí)的方式進(jìn)行大數(shù)據(jù)分析也是一種比較流行的做法。學(xué)習(xí)大數(shù)據(jù)分析也需要了解大數(shù)據(jù)平臺的基礎(chǔ)知識、算法知識、機(jī)器學(xué)習(xí)等內(nèi)容,從學(xué)習(xí)周期上來說與大數(shù)據(jù)開發(fā)差不多,也需要6個(gè)月左右。學(xué)習(xí)數(shù)據(jù)分析往往需要具備一定的數(shù)學(xué)基礎(chǔ),否則需要補(bǔ)學(xué)的內(nèi)容比較多,耗費(fèi)的時(shí)間也比較長。
大數(shù)據(jù)運(yùn)維則主要是學(xué)習(xí)大數(shù)據(jù)平臺的搭建、組件部署、平臺測試以及維護(hù)等方面的內(nèi)容,大數(shù)據(jù)運(yùn)維需要學(xué)習(xí)大量的軟硬件知識,包括計(jì)算機(jī)網(wǎng)絡(luò)知識。總的來說,學(xué)習(xí)的量也是比較大的,在時(shí)間上根據(jù)不同的基礎(chǔ)可長可短,一般在3到6個(gè)月基本上能入門。
大數(shù)據(jù)是我的主要研究方向之一,目前我也在帶大數(shù)據(jù)方向的研究生,我會(huì)陸續(xù)在頭條寫一些關(guān)于大數(shù)據(jù)方面的文章,感興趣的朋友可以關(guān)注我,相信一定會(huì)有所收獲。
如果有大數(shù)據(jù)方面的問題,也可以咨詢我。
謝謝!
大數(shù)據(jù)發(fā)展速度很快,對技術(shù)的需求也在不斷更新迭代,從第一代的Hadoop為主,到現(xiàn)在的Hadoop、Spark、Storm、Flink百花齊放,一方面是因?yàn)樾枨蟮淖兓?,另一方面也是技術(shù)生態(tài)在不斷拓展和完善。
學(xué)大數(shù)據(jù),都學(xué)習(xí)哪些內(nèi)容,這就需要結(jié)合市場來考量,市場需求什么,那就需要去掌握相應(yīng)的技術(shù)框架。
下面例舉通用層面上,大數(shù)據(jù)一般需要學(xué)習(xí)和掌握哪些——
1、數(shù)據(jù)收集層
主要由關(guān)系型和非關(guān)系型數(shù)據(jù)收集組件,分布式消息隊(duì)列構(gòu)成。
Sqoop/Canal:關(guān)系型數(shù)據(jù)收集和導(dǎo)入工具。
Flume:非關(guān)系型數(shù)據(jù)收集工具,主要是流式日志數(shù)據(jù)。
Kafka:分布式消息隊(duì)列,一般作為數(shù)據(jù)總線使用。
2、數(shù)據(jù)存儲層
主要由分布式文件系統(tǒng)(面向文件存儲)和分布式數(shù)據(jù)庫(面向行/列的存儲)構(gòu)成。
HDFS:Hadoop分布式文件系統(tǒng)。
Hbase:構(gòu)建在HDFS之上的分布式數(shù)據(jù)庫。
Kudu:分布式列數(shù)據(jù)庫,允許用戶存儲結(jié)構(gòu)化數(shù)據(jù)。
3、資源管理與服務(wù)協(xié)調(diào)層
YARN:統(tǒng)一資源管理與調(diào)度系統(tǒng),管理集群中的各種資源。
ZooKeeper:基于簡化的Paxos協(xié)議實(shí)現(xiàn)的服務(wù)協(xié)調(diào)系統(tǒng)。
4、計(jì)算引擎層
包括批處理(時(shí)間要求低,高吞吐)、交互式處理(時(shí)間要求比較高,sql查詢)、流式實(shí)時(shí)處理(時(shí)間要求非常高、廣告投放等)三種引擎。
MapReduce:經(jīng)典的批處理計(jì)算引擎,具體良好的擴(kuò)展性與容錯(cuò)性。
Spark:通用的DAG計(jì)算引擎,允許用戶充分利用內(nèi)存進(jìn)行快速的數(shù)據(jù)挖掘和分析。
Impala/Presto:開源的MPP系統(tǒng),允許用戶使用標(biāo)準(zhǔn)的SQL處理存儲在Hadoop中的數(shù)據(jù)。
Storm/Spark Streaming:分布式流式實(shí)時(shí)計(jì)算引擎,能夠高效的處理流式數(shù)據(jù)。
5、數(shù)據(jù)分析層
為方便用戶解決大數(shù)據(jù)問題而提供的各種數(shù)據(jù)分析工具。
Hive/Pig/SparkSQL:在計(jì)算引擎之上構(gòu)建的支撐SQL或者腳本語言的分析系統(tǒng),大大降低了用戶進(jìn)行大數(shù)據(jù)分析的門檻。
Mahout/MLib:在計(jì)算引擎上構(gòu)建的機(jī)器學(xué)習(xí)庫,實(shí)現(xiàn)常用的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法。
Apache Beam/Cascading:基于各類計(jì)算框架而封裝的高級API,方便構(gòu)建復(fù)雜的流水線。
你好,提出這樣的問題的人十之八九是還不太了解,學(xué)習(xí)大數(shù)據(jù)相關(guān)的東西也可以說是一個(gè)菜鳥級別的人物,那學(xué)習(xí)大數(shù)據(jù)學(xué)些什么要多久?這些問題具體得看你個(gè)人是什么樣的人,第一,你是否有編程基礎(chǔ),你有編程基礎(chǔ)的人學(xué)著大數(shù)據(jù)就相對容易些地兒你的文化基礎(chǔ)是什么呀?學(xué)習(xí)大數(shù)據(jù)需要很強(qiáng)的專業(yè)知識,所以你你說一個(gè)初中生或者高中生或者說一個(gè)。一個(gè)大學(xué)生以前都沒有接觸過相關(guān)領(lǐng)域的技術(shù)就去學(xué)習(xí)大數(shù)據(jù),那肯定很難,第三,你是否能堅(jiān)持學(xué)習(xí)一門技術(shù)貴在堅(jiān)持因?yàn)閷W(xué)習(xí)編程很復(fù)雜也很無趣,所以在學(xué)習(xí)的過程中,你要堅(jiān)持。第四學(xué)習(xí)多久?這個(gè)看你自己的時(shí)間安排,如果你全職學(xué)習(xí)少則半年多則一年,如果你時(shí)間很緊張呢,就不好說了,至于學(xué)習(xí)什么內(nèi)容,我想這個(gè)在這里也說不太清楚,你可以去百度一下那里面在說得很清楚。
好了,如果你真心想學(xué)技術(shù)?其實(shí)也不要怕堅(jiān)持付出,你一定會(huì)學(xué)會(huì),謝謝!
在我們生活和工作中有很多地方都用到了大數(shù)據(jù)開發(fā)技術(shù),對于小伙伴來說大數(shù)據(jù)開發(fā)已經(jīng)不陌生了,企業(yè)對大數(shù)據(jù)開發(fā)人員的需求量在不斷增多,市場上也有許多小伙伴想要學(xué)習(xí)大數(shù)據(jù)開發(fā)技術(shù)知識,不過小伙伴要知道,想要入門大數(shù)據(jù)開發(fā)必須系統(tǒng)的去學(xué)習(xí)大數(shù)據(jù)開發(fā)技術(shù)。
那學(xué)習(xí)大數(shù)據(jù)很難嗎?需不需要編程基礎(chǔ)呢?大數(shù)據(jù)是一項(xiàng)比較復(fù)雜的編程語言,學(xué)習(xí)大數(shù)據(jù)開發(fā)是需要一定的編程基礎(chǔ)的,而且大數(shù)據(jù)是綜合性比較高的編程語言,對于零基礎(chǔ)小伙伴來說學(xué)習(xí)大數(shù)據(jù)是比較困難的,但是零基礎(chǔ)小伙伴可以選擇大數(shù)據(jù)培訓(xùn)班來學(xué)習(xí),而且還能系統(tǒng)的學(xué)習(xí)大數(shù)據(jù)相關(guān)的技術(shù)知識。
一般零基礎(chǔ)小伙伴在大數(shù)據(jù)培訓(xùn)班學(xué)習(xí)開發(fā)技術(shù)知識,培訓(xùn)班事先會(huì)通過面試的方式對小伙伴做一個(gè)初步的了解,然后通過考試來檢測小伙伴到底適不適合學(xué)習(xí)大數(shù)據(jù)開發(fā),而且還會(huì)給小伙伴推薦比較適合學(xué)習(xí)的編程技術(shù),增加成功學(xué)習(xí)編程技術(shù)的概率。
零基礎(chǔ)小伙伴一般在大數(shù)據(jù)培訓(xùn)班學(xué)習(xí)開發(fā)技術(shù)時(shí),需要學(xué)習(xí)一些java、Python等編程基礎(chǔ)知識包括算法、框架等知識,在后續(xù)過程中是需要學(xué)習(xí)Linux系統(tǒng)操作、學(xué)習(xí)搭建Hadoop平臺和Spark平臺等大數(shù)據(jù)開發(fā)相關(guān)技術(shù)知識。
在大數(shù)據(jù)培訓(xùn)班學(xué)習(xí)開發(fā)技術(shù)知識,除了學(xué)習(xí)開發(fā)技術(shù)基礎(chǔ)知識之外,還需要練習(xí)一些企業(yè)級項(xiàng)目實(shí)戰(zhàn)案例,讓小伙伴在學(xué)習(xí)開發(fā)技術(shù)知識的同時(shí),積累更多的項(xiàng)目實(shí)戰(zhàn)經(jīng)驗(yàn),鍛煉學(xué)習(xí)在公司項(xiàng)目實(shí)戰(zhàn)中解決問題的方法。
一般情況下,在大數(shù)據(jù)培訓(xùn)班系統(tǒng)學(xué)習(xí)開發(fā)技術(shù)知識的培訓(xùn)周期是5-6個(gè)月的時(shí)間,培訓(xùn)結(jié)束之后,能夠達(dá)到初級開發(fā)工程師的技術(shù)水平,不過小伙伴在選擇大數(shù)據(jù)培訓(xùn)班的時(shí)候,一定要選擇適合自己的,靠譜的大數(shù)據(jù)培訓(xùn)班來學(xué)習(xí)。
學(xué)習(xí)方式是其中一個(gè)因素,最重要的是小伙伴能夠找到適合自己的學(xué)習(xí)方法,成功入門大數(shù)據(jù)開發(fā),在學(xué)習(xí)中要養(yǎng)成良好的學(xué)習(xí)習(xí)慣,學(xué)會(huì)善于反思和總結(jié)學(xué)習(xí)經(jīng)驗(yàn)。尚硅谷大數(shù)據(jù)培訓(xùn)班是一個(gè)比較靠譜的線下面授教學(xué)的職業(yè)培訓(xùn)機(jī)構(gòu),在學(xué)習(xí)中練習(xí)企業(yè)級項(xiàng)目實(shí)戰(zhàn)案例,鍛煉小伙伴解決問題的能力,培訓(xùn)班還有大數(shù)據(jù)視頻供小伙伴下載學(xué)習(xí)!
http://www.atguigu.com/bigdata_video.shtml
學(xué)習(xí)大數(shù)據(jù)很多的初學(xué)者一開始的時(shí)候?qū)τ诖髷?shù)據(jù)學(xué)習(xí)學(xué)習(xí)的內(nèi)容有那些?要學(xué)習(xí)多久?零基礎(chǔ)難不難學(xué)習(xí)?等一系列問題都存在一大堆的疑問,今天小編就針對這個(gè)問題為大家來一一解答。
既然是學(xué)習(xí)大數(shù)據(jù)及時(shí),那我們第一時(shí)間就應(yīng)該是去了了解一下什么是大數(shù)據(jù),大數(shù)據(jù)都要學(xué)習(xí)那些知識,只有知道了這倆點(diǎn)我們才能夠更好的進(jìn)行下邊的學(xué)習(xí)。
第一階段:JavaSE基礎(chǔ)核心
第二階段:數(shù)據(jù)庫關(guān)鍵技術(shù)
第三階段:大數(shù)據(jù)基礎(chǔ)核心
第四階段:Spark生態(tài)體系框架&大數(shù)據(jù)高薪精選項(xiàng)目
第五階段:Spark生態(tài)體系框架&企業(yè)無縫對接項(xiàng)目
第六階段:Flink流式數(shù)據(jù)處理框架
大數(shù)據(jù)學(xué)習(xí),要學(xué)多久?一般是要看你自己的學(xué)習(xí)能力和你選擇的學(xué)習(xí)方式,如果學(xué)習(xí)能力比較強(qiáng)的話學(xué)習(xí)時(shí)間就好短一些,這個(gè)一般自學(xué)的話大概在一年左右的時(shí)間,如果是選擇大數(shù)據(jù)培訓(xùn)進(jìn)行學(xué)習(xí)的話,一般的學(xué)習(xí)周期是在6個(gè)月左右的時(shí)間。
這里小編建議在選擇學(xué)習(xí)方式的時(shí)候,不管是自學(xué)還是大數(shù)據(jù)培訓(xùn)都不要盲目的去根據(jù)別人的情況和建議進(jìn)行選擇,而是要更加自己是實(shí)際情況去分析選擇適合的學(xué)習(xí)方式是最好的。
學(xué)習(xí)積云大數(shù)據(jù)課程包括:Java入門、Java進(jìn)階、數(shù)據(jù)庫編程、web應(yīng)用實(shí)戰(zhàn)、經(jīng)典&主流框架、互聯(lián)網(wǎng)流行技術(shù)、互聯(lián)網(wǎng)解決方案
要學(xué)一年左右,這里說的是有一些基礎(chǔ)的。對于0基礎(chǔ)的同學(xué)來說可能要學(xué)更長的時(shí)間
基礎(chǔ)階段:Linux、Docker、KVM、MySQL基礎(chǔ)、Oracle基礎(chǔ)、MongoDB、redis。
hadoop mapreduce hdfs yarn:hadoop:Hadoop 概念、版本、歷史,HDFS工作原理,YARN介紹及組件介紹。
大數(shù)據(jù)存儲階段:hbase、hive、sqoop。
大數(shù)據(jù)架構(gòu)設(shè)計(jì)階段:Flume分布式、Zookeeper、Kafka。
大數(shù)據(jù)實(shí)時(shí)計(jì)算階段:Mahout、Spark、storm。
大數(shù)據(jù)數(shù)據(jù)采集階段:Python、Scala。
大數(shù)據(jù)商業(yè)實(shí)戰(zhàn)階段:實(shí)操企業(yè)大數(shù)據(jù)處理業(yè)務(wù)場景,分析需求、解決方案實(shí)施,綜合技術(shù)實(shí)戰(zhàn)應(yīng)用。
大數(shù)據(jù)(big data,mega data),或稱巨量資料,指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。 在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時(shí)代》中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑,而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值密度)、Veracity(真實(shí)性)。
大數(shù)據(jù)的5個(gè)“V”,或者說特點(diǎn)有五層面:
第一,數(shù)據(jù)體量巨大
從TB級別,躍升到PB級別。
第二,數(shù)據(jù)類型繁多
前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。
第三,價(jià)值密度低
以視頻為例,連續(xù)不間斷監(jiān)控過程中,可能有用的數(shù)據(jù)僅僅有一兩秒。
第四,處理速度快
1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。業(yè)界將其歸納為4個(gè)“V”——Volume,Variety,Value,Velocity。
物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器,無一不是數(shù)據(jù)來源或者承載的方式。
0
回答0
回答10
回答0
回答1
回答0
回答10
回答0
回答10
回答0
回答