資訊專欄INFORMATION COLUMN
摘要：創(chuàng)建任務創(chuàng)建任務選擇這個標簽拖動到中。頁面權限控制頁面權限控制頁面權限控制點擊管理用戶組選擇要修改的組名稱，設置相應權限并保存
Hue是面向 Hadoop 的開源用戶界面，可以讓您更輕松地運行和開發(fā) Hive 查詢、管理 HDFS 中的文件、運行和開發(fā) Pig 腳本以及管理表。服務默認已經(jīng)啟動，用戶只需要配置外網(wǎng)IP，在防火墻中配置開放端口就可以了。如果沒有安裝hue，可以在集群的"服務管理"頁面開啟Hue。
訪問地址: http://外網(wǎng)ip:8888
默認用戶名/密碼：hadoop/hadoop或者hue/hue， 用戶登陸后可以自行更改。
啟用Hue的工作流功能，需要在集群上安裝?？梢栽诩旱?服務管理"頁面啟用Oozie。
1.1 創(chuàng)建新的工作流在瀏覽器中依次點擊【W(wǎng)orkflows】->【Editors】->【W(wǎng)okflows】，進入Workflow Editor。然后點擊頁面右側(cè)的【Create】按鈕。
從action中拖動spark的標簽到工作流中。點擊右上角的【Settings】按鈕，出現(xiàn)一個彈出窗口，我們可以在這里為Workflow設置變量名，并設置Workspace。
現(xiàn)在，添加input和output這兩個變量，并將Workspace設置為HDFS的目錄/user/admin/workspaces，如下：
設置好后，點擊右上角的叉關閉這個彈出窗口，回到之前的頁面（現(xiàn)在還需要自己將Spark Job所需的Jar包放入相應的HDFS目錄中）。
我們將【Spark】圖標拖到相應的位置，然后繼續(xù)進行設置。我們設置了Jar包的路徑 lib/oozie-examples.jar。還要設置main class。
注意這是HDFS路徑，且是相對于Workspace的路徑（所以實際路徑就是/user/admin/workspaces/lib/oozie-examples.jar）
由于這個main class的作用的是復制HDFS的文件，它在運行時需要給main方法傳入兩個參數(shù)，分別是src path和dest path，所以這里我們繼續(xù)添加參數(shù)，如下圖：
這里的${input}和${output}就是之前我們在【settings】中設置的變量名。
好了，一切都設置好了之后，點擊右上角的【Save】按鈕。
1.3 創(chuàng)建Hive任務uhadoop上使用的是hive-server2，所以這里選擇hive-server2標簽拖動到action中。
然后，將準備好的sql腳本上傳到hdfs上，并配置提交任務的參數(shù)
如果定義了ufd可以通過文件的參數(shù)來指定
最后，保存工作流。
選擇sqoop1這個標簽拖動到action中。然后，添加需要執(zhí)行的Sqoop命令。
注意：
1.密碼不能加額外的引號，hue會把-p 參數(shù)后面的所有內(nèi)容都解釋為密碼；
2.Sqoop 要把任務分發(fā)到所有的集群節(jié)點，要保證集群所有節(jié)點對目標數(shù)據(jù)庫的讀寫權限。
最后，保存工作流。
文章版權歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/126757.html
摘要：也可以將托管集群設置為快捷方式，通過左側(cè)快捷方式菜單欄點擊進入?？蚣芗褐袃H部署。用于做存儲集群，有專屬的節(jié)點機型。節(jié)點管理節(jié)點，負責協(xié)調(diào)整個集群服務。目前僅節(jié)點支持綁定。通過云主機內(nèi)網(wǎng)進行登錄。登錄密碼為集群創(chuàng)建時設置的密碼。 快速上手本篇目錄創(chuàng)建集群提交任務本文檔將帶領您如何創(chuàng)建UHadoop集群，并使用UHadoop集群完成數(shù)據(jù)處理任務。創(chuàng)建集群本章簡單介紹了用戶使用UHadoop服務...
摘要：集群運行慢時，通常會在日志中可以查找到明顯的異常，或者花費時間長的操作。檢查集群節(jié)點的運行狀態(tài)檢查集群節(jié)點的運行狀態(tài)管理群集上部署的各種服務。如果主節(jié)點遇到性能問題，整個群集都會受到影響。工作的不均衡分配可能會導致處理速度較慢。 故障排查本篇目錄任務執(zhí)行失敗排查工具故障描述集群運行速度慢任務執(zhí)行失敗1.查看console輸出日志查看任務執(zhí)行時控制臺輸出的log，檢查是否有ERROR2.查看任...
摘要：開發(fā)指南開發(fā)指南開發(fā)指南本篇目錄運行運行定義定義定義工作流，為將多個按照一定的順序組織起來，按照既定的路徑運行的一個整體。配置將定時調(diào)度頻率改為分鐘。一個會創(chuàng)建并執(zhí)行。例如，，，，則時間為動作的實際創(chuàng)建時間。 Oozie開發(fā)指南本篇目錄1. 運行Coordinator Job2. Coordinator Action3. Coordinator Application4. Coordinat...
摘要：架構架構元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理創(chuàng)建集群時可在控制臺開啟元數(shù)據(jù)獨立管理。若項目中已開啟過元數(shù)據(jù)獨立管理，則新集群開啟該功能時，不再創(chuàng)建新的，而是將新集群的元數(shù)據(jù)存儲于已有的中。 元數(shù)據(jù)管理本篇目錄介紹產(chǎn)品架構元數(shù)據(jù)管理介紹UHadoop 支持將 Hive-Metastore 的數(shù)據(jù)庫獨立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數(shù)據(jù)庫，可在控制臺對其做管理。產(chǎn)品...
摘要：查看上的歷史日志查看上的歷史日志任務的日志在任務運行結束之后會上傳到上，當日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機上執(zhí)行 常用操作本篇目錄應用的Web接口查看日志配置NFS掛載hdfs到本地應用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務會在主節(jié)點上運行（Active NameNode或...
閱讀 1564·2025-02-07 13:29
閱讀 1002·2024-11-07 18:25
閱讀 131496·2024-02-01 10:43
閱讀 1326·2024-01-31 14:58
閱讀 1144·2024-01-31 14:54
閱讀 83571·2024-01-29 17:11
閱讀 3869·2024-01-25 14:55
閱讀 2390·2023-06-02 13:36
