標題：DKhadoop大數(shù)據(jù)處理平臺監(jiān)控數(shù)據(jù)介紹

AlienZHOU 發(fā)布于2019-08-16 13:33 / 1271人閱讀

摘要：標題大數(shù)據(jù)處理平臺監(jiān)控數(shù)據(jù)介紹年國內(nèi)大數(shù)據(jù)公司強榜單排名已經(jīng)公布了出來，大快以黑馬之姿闖入強，并摘得多項桂冠。本篇承接上一篇平臺監(jiān)控參數(shù)說明，繼續(xù)就大快的大數(shù)據(jù)一體化處理架構中的平臺監(jiān)控參數(shù)進行介紹和說明。

標題：DKhadoop大數(shù)據(jù)處理平臺監(jiān)控數(shù)據(jù)介紹
2018年國內(nèi)大數(shù)據(jù)公司50強榜單排名已經(jīng)公布了出來，大快以黑馬之姿闖入50強，并摘得多項桂冠。Hanlp自然語言處理技術也榮膺了“2018中國數(shù)據(jù)星技術”獎。對這份榜單感興趣的可以找一下看看。本篇承接上一篇《DKM平臺監(jiān)控參數(shù)說明》，繼續(xù)就大快的大數(shù)據(jù)一體化處理架構中的平臺監(jiān)控參數(shù)進行介紹和說明。
DKhadoop大數(shù)據(jù)處理平臺架構的安裝相關文章已經(jīng)分享過，詳細的內(nèi)容可以找一下看看。在上一篇中已經(jīng)就集群平均負載、集群磁盤使用情況、HDFS監(jiān)控界面、Hbase監(jiān)控界面等監(jiān)控參數(shù)進行說明。今天就把剩下的一些監(jiān)控參數(shù)一起介紹完，關于大快大數(shù)據(jù)處理平臺監(jiān)控參數(shù)的介紹就完整了。

1、Yarn監(jiān)控界面
（1）執(zhí)行失敗的應用程序

監(jiān)控 yarn資源管理中總執(zhí)行失敗的應用程序數(shù)量
縱軸表示應用程序數(shù)量，單位個
橫軸表示時間,單位分鐘
（2）已提交的應用程序

監(jiān)控 yarn資源管理中已提交的應用程序數(shù)量
縱軸表示應用程序數(shù)量，單位個
橫軸表示時間,單位分鐘

（3）正在運行的應用程序

監(jiān)控 yarn資源管理中正在運行的應用程序數(shù)量
縱軸表示應用程序數(shù)量，單位個
橫軸表示時間,單位分鐘
（4）等待執(zhí)行的應用程序

監(jiān)控 yarn資源管理中等待執(zhí)行的應用程序數(shù)量
縱軸表示應用程序數(shù)量，單位個
橫軸表示時間,單位分鐘

（5）已完成的應用程序

監(jiān)控 yarn資源管理中已完成的應用程序數(shù)量
縱軸表示應用程序數(shù)量，單位個
橫軸表示時間,單位分鐘
（6）被kill的應用程序

監(jiān)控 yarn資源管理中被殺死的應用程序數(shù)量
縱軸表示應用程序數(shù)量，單位個
橫軸表示時間,單位分鐘
2、Spark監(jiān)控界面
注意：（spark 運行任務后才有監(jiān)控數(shù)據(jù)）
（1）最大可使用內(nèi)存

監(jiān)控 Spark 集群中最大可使用的內(nèi)存
縱軸表示內(nèi)存容量，單位MB
橫軸表示時間,單位分鐘
（2）已使用的內(nèi)存

監(jiān)控 Spark 集群中已經(jīng)使用的內(nèi)存
縱軸表示內(nèi)存容量，單位MB
橫軸表示時間,單位分鐘
（3）剩余內(nèi)存

監(jiān)控 Spark 集群中剩余的內(nèi)存
縱軸表示內(nèi)存容量，單位（MB）
橫軸表示時間,單位分鐘
（4）Spark中任務數(shù)量

監(jiān)控 Spark 集群中任務數(shù)量
縱軸表示內(nèi)存容量，單位MB
橫軸表示時間,單位分鐘
（5）Spark中正在運行的任務數(shù)量

監(jiān)控 Spark中正在運行的任務數(shù)量
縱軸表示內(nèi)存容量，單位MB
橫軸表示時間,單位分鐘
（6）正在運行的stage數(shù)量

監(jiān)控 Spark集群中正在運行的stage數(shù)量
縱軸表示stage數(shù)量，單位個
橫軸表示時間,單位分鐘

（7）失敗的stage數(shù)量

監(jiān)控 Spark集群中運行失敗的stage數(shù)量
縱軸表示stage數(shù)量，單位個
橫軸表示時間,單位分鐘
（8）準備就緒的stage數(shù)量

監(jiān)控 Spark集群中準備就緒的stage數(shù)量
縱軸表示stage數(shù)量，單位個
橫軸表示時間,單位分鐘
備注：
（橫軸的時間表示采集時間，一般是1分鐘一次）

USDP大數(shù)據(jù)平臺托管Hadoop集群大數(shù)據(jù)平臺介紹大數(shù)據(jù)監(jiān)控平臺大數(shù)據(jù)平臺資源監(jiān)控大數(shù)據(jù)介紹

文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://www.ezyhdfw.cn/yun/71925.html

DKhadoop安裝包下載與監(jiān)控參數(shù)說明

摘要：安裝包下載與監(jiān)控參數(shù)說明前階段用了差不多兩周的時間把的運行環(huán)境搭建以及安裝的各個操作都介紹了一遍。我盡量把我知道的寫完吧本文的重點還是最上部分的安裝包下載，提取碼上面也給了。 DKhadoop安裝包下載與監(jiān)控參數(shù)說明前階段用了差不多兩周的時間把DKhadoop的運行環(huán)境搭建以及安裝的各個操作都介紹了一遍。關于DKhadoop安裝包下載也只是順帶說了一下，但好像大快搜索的服務器在更新，新...

vspiders 2019-08-16 13:33 評論0 收藏0
實用貼:hadoop系統(tǒng)下載安裝教程

摘要：實用貼系統(tǒng)下載安裝教程在前幾篇的文章中分別就虛擬系統(tǒng)安裝系統(tǒng)安裝以及運行服務器的設置等內(nèi)容寫了詳細的操作教程，本篇分享的是的下載安裝步驟。我讓他們?nèi)ハ螺d安裝試一下，至于后來試沒試就不得而知了。實用貼:hadoop系統(tǒng)下載安裝教程在前幾篇的文章中分別就虛擬系統(tǒng)安裝、LINUX系統(tǒng)安裝以及hadoop運行服務器的設置等內(nèi)容寫了詳細的操作教程，本篇分享的是hadoop的下載安裝步驟。在此之...

BenCHou 2019-08-16 13:33 評論0 收藏0
Hadoop新手篇：hadoop入門基礎教程

摘要：新手篇入門基礎教程關于的分享此前一直都是零零散散的想到什么就寫什么，整體寫的比較亂吧。上兩周寫的五篇內(nèi)容，匯總到一起就算是新手入門的一個基礎性教程吧持續(xù)更新中。應該在改版完成后就可以正常申請下載了。 Hadoop新手篇：hadoop入門基礎教程關于hadoop的分享此前一直都是零零散散的想到什么就寫什么，整體寫的比較亂吧。最近可能還算好的吧，畢竟花了兩周的時間詳細的寫完的了hadoop...

levinit 2019-08-16 13:33 評論0 收藏0
hadoop入門學習教程--DKHadoop完整安裝步驟

摘要：入門學習教程完整安裝步驟使用版本是標準三節(jié)點發(fā)行版，版本的易用性比較好，環(huán)境部署要簡單的多，參考此篇安裝前請先下載版本，網(wǎng)盤鏈接提取碼第一部分準備工作大數(shù)據(jù)平臺所需配置系統(tǒng)位需默認安裝及以上。防止訪問服務器時某些服務被攔截需關閉防火墻。 hadoop入門學習教程--DKHadoop完整安裝步驟使用hadoop版本是DKH標準三節(jié)點發(fā)行版，DKHadoop版本的易用性比較好，環(huán)境部署要簡...

superPershing 2019-08-16 13:37 評論0 收藏0
大數(shù)據(jù)框架hadoop服務角色介紹

摘要：大數(shù)據(jù)框架服務角色介紹翻了一下最近一段時間寫的分享，發(fā)行版本下載安裝運行環(huán)境部署等相關內(nèi)容幾乎都已經(jīng)寫了一遍了。這些數(shù)據(jù)通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。大數(shù)據(jù)框架hadoop服務角色介紹翻了一下最近一段時間寫的分享，DKHadoop發(fā)行版本下載、安裝、運行環(huán)境部署等相關內(nèi)容幾乎都已經(jīng)寫了一遍了。雖然有的地方可能寫的不是很詳細，個人理解水平有限還請見諒吧！我記得在...

atinosun 2019-08-16 13:40 評論0 收藏0