spark使用教程精品文章

• 

  『 Spark 』1. spark 簡(jiǎn)介

  ... 』6. 深入研究 spark 運(yùn)行原理之 job, stage, task 『 Spark 』7. 使用 Spark DataFrame 進(jìn)行大數(shù)據(jù)分析

  G9YH 2019-07-31 10:50 評(píng)論0 收藏0
• 

  飛馳在Mesos的渦輪引擎上

  ...底是用來(lái)做啥的？跟YARN比有什么優(yōu)勢(shì)？有哪些大公司在使用么?。 然而現(xiàn)在技術(shù)日新月異地發(fā)展, Mesos這個(gè)生態(tài)圈也開(kāi)始被越來(lái)越多的團(tuán)隊(duì)熟悉關(guān)注, 像k8s,Swarm之類的重量級(jí)競(jìng)品一個(gè)個(gè)地涌現(xiàn)。 在踩了或多或少的坑, 現(xiàn)在重新回...

  xorpay 2019-06-28 15:19 評(píng)論0 收藏0
• 

  『 Spark 』2. spark 基本概念解析

  ...少 CPU，etc。然后 Cluster Manager 會(huì)通過(guò)調(diào)度告訴客戶端可以使用，然后客戶端就可以把程序送到每個(gè) Worker Node 上面去執(zhí)行了。 4. Worker Node 集群中任何一個(gè)可以運(yùn)行spark應(yīng)用代碼的節(jié)點(diǎn)。Worker Node就是物理節(jié)點(diǎn)，可以在上面啟動(dòng)Execut...

  Luosunce 2019-07-24 18:38 評(píng)論0 收藏0
• 

  做IT這幾年，我整理了這些干貨想要送給你!

  ...ase 數(shù)據(jù)庫(kù)詳解 javaboy6436 zookeeper 協(xié)同處理 javaboy2341 CDH 使用 javaboy8488 HUE 使用 javaboy4393 IMPALA 詳解 javaboy6445 oozie 詳解 javaboy2350 elasticsearch 詳解 javaboy8497 Redis 內(nèi)存數(shù)據(jù) javaboy4402 ...

  王晗 2019-08-16 17:41 評(píng)論0 收藏0
• 

  在pyspark中調(diào)用scala代碼

  在pyspark中調(diào)用scala代碼 情境說(shuō)明 問(wèn)題 我們這邊是要使用Spark去并行一個(gè)自然語(yǔ)言處理的算法，其中使用到了LDA主題模型。由于使用的是天河二號(hào)，Spark版本是1.5.1，pyspark同樣，所以獲取主題時(shí)還不能使用describeTopics(在spark1.6...

  alanoddsoff 2019-07-30 14:50 評(píng)論0 收藏0
• 

  『 讀書(shū)筆記 』4月讀書(shū)總結(jié)｜博文推薦

  ...，簡(jiǎn)單，夠用，就行了。工作中見(jiàn)過(guò)太多人把時(shí)間都花到使用那些協(xié)同軟件上去，不得不說(shuō)避重就輕了，適得其反，哈哈。 下面是一張我用 google docs 來(lái)做本月讀書(shū)安排的截圖，不同顏色代表不同類別的數(shù)據(jù)，清晰明了實(shí)用。 ...

  URLOS 2019-07-25 10:17 評(píng)論0 收藏0
• 

  [原]海納百川 有容乃大：SparkR與Docker的機(jī)器學(xué)習(xí)實(shí)戰(zhàn)

  ...的data frame數(shù)據(jù)結(jié)構(gòu)，解決了 R中的data frame只能在單機(jī)中使用的瓶頸，它和R中的data frame 一樣支持許多操作，比如select,filter,aggregate等等。（類似dplyr包中的功能）這很好的解決了R的大數(shù)據(jù)級(jí)瓶頸問(wèn)題。 SparkR也支持分布式的機(jī)器...

  CHENGKANG 2019-06-28 15:09 評(píng)論0 收藏0
• 

  [譯]使用Google Cloud計(jì)算引擎和機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)產(chǎn)品推薦

  ...址：https://cloud.google.com/solu... 在一個(gè)網(wǎng)絡(luò)商店中，你可以使用谷歌云平臺(tái)來(lái)創(chuàng)建一個(gè)可拓展的、高效可用的服務(wù)來(lái)向用戶推薦相關(guān)的商品。 網(wǎng)購(gòu)平臺(tái)的競(jìng)爭(zhēng)從沒(méi)有像今天這樣激烈過(guò)，雖然顧客們?cè)诓煌墓?yīng)商之間花費(fèi)越來(lái)越...

  eternalshallow 2019-07-25 10:51 評(píng)論0 收藏0