資訊專欄INFORMATION COLUMN
摘要：有時候需要改寫源碼，比如將常用的某個放在源碼中，啟動即可使用。所以推薦使用來完成改源碼的操作，好處不言而喻。這是因為在環(huán)境不能執(zhí)行。同名文件夾是這個包解壓后的文件夾，上傳到可直接使用，免解壓。
有時候需要改寫源碼，比如將常用的某個UDF放在源碼中，啟動即可使用。在Linux上直接改寫源碼是很容易出錯的，因為vim沒有檢測提示，直到打包時過了很久才報錯，并找到日志才發(fā)現(xiàn)是哪里寫錯了，而且提示的也不清楚。所以推薦使用idea來完成改源碼的操作，好處不言而喻。
1.下載解壓hive源碼，用idea打開為Maven項目（jdk1.8），這時所有的依賴就會自動下載
2.將寫好的UDF的java代碼放在org.apache.hadoop.hive.ql.udf包下
3.在org.apache.hadoop.hive.ql.exec.FunctionRegistry類中靜態(tài)代碼塊添加注冊
4.Maven打包
1）點掉tests，相當于-DskipTests=true
2）命令行添加-e，可以輸出錯誤棧信息
3）Profiles填寫hadoop-2 dist,相當于-Phadoop-2,dist（如上圖）
運行報錯：
Caused by: java.io.IOException: Cannot run program "bash" (in directory "F:IdeaProjectshive-1.1.0-cdh5.7.0common"): CreateProcess error=2, 系統(tǒng)找不到指定的文件。
這是因為在Windows環(huán)境不能執(zhí)行bash。那么需要能執(zhí)行bash環(huán)境，有一個神器：Git
安裝git后，打開Git Bash，即可在Windows系統(tǒng)中執(zhí)行Linux命令了！
cd到hive源碼項目根目錄，執(zhí)行mvn -e clean package -Phadoop-2,dist -DskipTests=true
注意事項：需要配置Maven環(huán)境變量，并且一定要寫%M2_HOME%而非%MAVEN_HOME%！
編譯成功后，在項目根目錄下的packaging/target下會生成tar包和一個同名文件夾，如下圖。同名文件夾是這個tar包解壓后的文件夾，上傳到Linux可直接使用，免解壓。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/74291.html
摘要：是最新的查詢起始點，實質(zhì)上是和的組合，所以在和上可用的在上同樣是可以使用的。轉(zhuǎn)換為轉(zhuǎn)換為其實就是對的封裝，所以可以直接獲取內(nèi)部的注意此時得到的存儲類型為是具有強類型的數(shù)據(jù)集合，需要提供對應的類型信息。Spark SQL概述1、什么是Spark SQLSpark SQL是Spark用于結(jié)構(gòu)化數(shù)據(jù)(structured data)處理的Spark模塊。與基本的Spark RDD API不同，Sp...
摘要：本文發(fā)于我的個人博客知識點大全與實戰(zhàn)我正在大數(shù)據(jù)技術(shù)派和朋友們討論有趣的話題，你也來加入吧概述什么是是用于結(jié)構(gòu)化數(shù)據(jù)處理的模塊。是最新的查詢起始點，實質(zhì)上是和的組合，所以在和上可用的在上同樣是可以使用的。 關(guān)注公眾號：大數(shù)據(jù)技術(shù)派，回復資料，領(lǐng)取1000G資料。本文發(fā)于我的個人博客：Spark SQL知識點大全...
摘要：實際上，本身就預留了與外部元數(shù)據(jù)對接的能力，分別提供了和這兩個抽象。對接外部數(shù)據(jù)源搞清楚了注冊庫表的過程，給我們帶來這樣一個思路如果外部元數(shù)據(jù)創(chuàng)建的表也能被轉(zhuǎn)換成可識別的，那么就能被無縫地注冊到。 本文整理自 2019 年 4 月 13 日在深圳舉行的 Flink Meetup 會議，分享嘉賓張俊，目前擔任 OPPO 大數(shù)據(jù)平臺研發(fā)負責人，也是 Apache Flink contrib...
閱讀 2141·2021-11-23 09:51
閱讀 3404·2021-09-28 09:36
閱讀 1235·2021-09-08 09:35
閱讀 1904·2021-07-23 10:23
閱讀 3390·2019-08-30 15:54
閱讀 3064·2019-08-29 17:05
閱讀 512·2019-08-29 13:23
閱讀 1368·2019-08-28 17:51
