資訊專欄INFORMATION COLUMN
摘要：集群運(yùn)行慢時(shí)，通常會(huì)在日志中可以查找到明顯的異常，或者花費(fèi)時(shí)間長(zhǎng)的操作。檢查集群節(jié)點(diǎn)的運(yùn)行狀態(tài)檢查集群節(jié)點(diǎn)的運(yùn)行狀態(tài)管理群集上部署的各種服務(wù)。如果主節(jié)點(diǎn)遇到性能問(wèn)題，整個(gè)群集都會(huì)受到影響。工作的不均衡分配可能會(huì)導(dǎo)致處理速度較慢。
查看任務(wù)執(zhí)行時(shí)控制臺(tái)輸出的log，檢查是否有ERROR
2.查看任務(wù)執(zhí)行日志若任務(wù)為后臺(tái)執(zhí)行或定時(shí)任務(wù)，首先需要知道失敗的任務(wù)ID，可通過(guò)獲取日志詳情分析日志報(bào)錯(cuò)（查詢?nèi)罩痉椒梢?jiàn)日志查看）
Tips: 常見(jiàn)任務(wù)失敗ERROR可參考常見(jiàn)任務(wù)ERROR
- 在集群的“監(jiān)控視圖”頁(yè)面查看集群或者節(jié)點(diǎn)的監(jiān)控?cái)?shù)據(jù)，判斷是否有異常。
2.查看服務(wù)日志- 各個(gè)節(jié)點(diǎn)上的/var/log下面有各個(gè)服務(wù)的日志 - 通過(guò)web-yarn的頁(yè)面或者h(yuǎn)ue可以查看到任務(wù)運(yùn)行的日志情況
在向技術(shù)支持提交故障時(shí)，可以在提交信息中附帶以下內(nèi)容以便快速定位故障：
- 群集的標(biāo)識(shí)符 - 啟動(dòng)群集的區(qū)域和可用區(qū) - 如何操作會(huì)出現(xiàn)這個(gè)異常 - 異常的現(xiàn)象的具體描述
2.檢查集群的配置修改- 上一次正確運(yùn)行的配置和環(huán)境變量是否有做修改。
3.檢查日志通常提交的任務(wù)可以在hadoop-yarn的界面可以看到，如無(wú)法查看任務(wù)通常有以下幾種情況：
- spark任務(wù)用本地模式提交 - hive任務(wù)用本地提交（hive-server2默認(rèn)會(huì)將一些小任務(wù)用本地模式跑）
- 檢查任務(wù)日志，如果一個(gè)或多個(gè)失敗任務(wù)，請(qǐng)調(diào)查對(duì)應(yīng)的任務(wù)嘗試的日志，以了解更詳細(xì)的錯(cuò)誤信息。 - 檢查服務(wù)日志，在每個(gè)節(jié)點(diǎn)的/var/log目錄下，每個(gè)服務(wù)都有各自的存檔目錄。集群運(yùn)行慢時(shí)，通常會(huì)在日志中可以查找到明顯的異常，或者花費(fèi)時(shí)間長(zhǎng)的操作。
3. 檢查集群節(jié)點(diǎn)的運(yùn)行狀態(tài)- master：管理群集上部署的各種服務(wù)。如果主節(jié)點(diǎn)遇到性能問(wèn)題，整個(gè)群集都會(huì)受到影響。 - core：處理 map-reduce 任務(wù),保持 Hadoop 分布式文件系統(tǒng) (HDFS),hbase的regionserver。 - task：處理 map-reduce 任務(wù)。這些純粹是計(jì)算資源，并不存儲(chǔ)數(shù)據(jù)。您可以向群集添加任務(wù)節(jié)點(diǎn)，提高性能速度，或移除不需要的任務(wù)節(jié)點(diǎn)。
4. 檢查輸入數(shù)據(jù)注解：在task節(jié)點(diǎn)運(yùn)行的任務(wù)會(huì)通過(guò)網(wǎng)絡(luò)從core節(jié)點(diǎn)上獲取數(shù)據(jù)，所以在某些情況下增加task節(jié)點(diǎn)并不能夠縮短任務(wù)的運(yùn)行時(shí)間。
- 請(qǐng)查看您的輸入數(shù)據(jù)。它是否在鍵值之間均勻分配？ 如果您的數(shù)據(jù)嚴(yán)重偏向一個(gè)或幾個(gè)鍵值，那么可能將處理負(fù)載映射到少量節(jié)點(diǎn)，而其他節(jié)點(diǎn)則閑置。工作的不均衡分配可能會(huì)導(dǎo)致處理速度較慢。 - 不平衡數(shù)據(jù)集的示例是，依據(jù)按字母順序排列的詞運(yùn)行群集，但有一個(gè)數(shù)據(jù)集僅包含以字母“a”開(kāi)始的詞。當(dāng)工作被映射時(shí)，以“a”開(kāi)始的節(jié)點(diǎn)處理值會(huì)過(guò)量，而以其他字母開(kāi)始的節(jié)點(diǎn)處理詞會(huì)處于閑置狀態(tài)。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/127198.html
摘要：也可以將托管集群設(shè)置為快捷方式，通過(guò)左側(cè)快捷方式菜單欄點(diǎn)擊進(jìn)入?？蚣芗褐袃H部署。用于做存儲(chǔ)集群，有專屬的節(jié)點(diǎn)機(jī)型。節(jié)點(diǎn)管理節(jié)點(diǎn)，負(fù)責(zé)協(xié)調(diào)整個(gè)集群服務(wù)。目前僅節(jié)點(diǎn)支持綁定。通過(guò)云主機(jī)內(nèi)網(wǎng)進(jìn)行登錄。登錄密碼為集群創(chuàng)建時(shí)設(shè)置的密碼。 快速上手本篇目錄創(chuàng)建集群提交任務(wù)本文檔將帶領(lǐng)您如何創(chuàng)建UHadoop集群，并使用UHadoop集群完成數(shù)據(jù)處理任務(wù)。創(chuàng)建集群本章簡(jiǎn)單介紹了用戶使用UHadoop服務(wù)...
.png?v=1644489545)
摘要：架構(gòu)架構(gòu)元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理創(chuàng)建集群時(shí)可在控制臺(tái)開(kāi)啟元數(shù)據(jù)獨(dú)立管理。若項(xiàng)目中已開(kāi)啟過(guò)元數(shù)據(jù)獨(dú)立管理，則新集群開(kāi)啟該功能時(shí)，不再創(chuàng)建新的，而是將新集群的元數(shù)據(jù)存儲(chǔ)于已有的中。 元數(shù)據(jù)管理本篇目錄介紹產(chǎn)品架構(gòu)元數(shù)據(jù)管理介紹UHadoop 支持將 Hive-Metastore 的數(shù)據(jù)庫(kù)獨(dú)立于 Hadoop 集群部署，也支持多個(gè)集群訪問(wèn)同一個(gè) Hive 元數(shù)據(jù)庫(kù)，可在控制臺(tái)對(duì)其做管理。產(chǎn)品...
摘要：查看上的歷史日志查看上的歷史日志任務(wù)的日志在任務(wù)運(yùn)行結(jié)束之后會(huì)上傳到上，當(dāng)日志文件過(guò)大無(wú)法通過(guò)來(lái)查看時(shí)，可以通過(guò)將日志文件從上下載下來(lái)查看。掛載在允許的主機(jī)上執(zhí)行 常用操作本篇目錄應(yīng)用的Web接口查看日志配置NFS掛載hdfs到本地應(yīng)用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過(guò)它查看您的 Hadoop 集群。Web 服務(wù)會(huì)在主節(jié)點(diǎn)上運(yùn)行（Active NameNode或...
摘要：產(chǎn)品價(jià)格產(chǎn)品價(jià)格產(chǎn)品價(jià)格托管集群價(jià)格根據(jù)節(jié)點(diǎn)類型及配置不同，北京上海廣州香港可用區(qū)詳細(xì)價(jià)格如下，其他可用區(qū)價(jià)格請(qǐng)咨詢技術(shù)支持。 產(chǎn)品價(jià)格托管 Hadoop 集群價(jià)格根據(jù)節(jié)點(diǎn)類型及配置不同 ，北京、上海、廣州、香港可用區(qū)詳細(xì)價(jià)格如下，其他可用區(qū)價(jià)格請(qǐng)咨詢技術(shù)支持。 節(jié)點(diǎn)類型機(jī)型名稱CPU內(nèi)存(G)硬盤(G)華北一E價(jià)格(元/月)國(guó)內(nèi)其他可用區(qū)價(jià)格（元/月）Master&?Task?計(jì)算優(yōu)化實(shí)例...
閱讀 1564·2025-02-07 13:29
閱讀 1002·2024-11-07 18:25
閱讀 131496·2024-02-01 10:43
閱讀 1328·2024-01-31 14:58
閱讀 1144·2024-01-31 14:54
閱讀 83571·2024-01-29 17:11
閱讀 3869·2024-01-25 14:55
閱讀 2390·2023-06-02 13:36
