亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

大快搜索數(shù)據(jù)爬蟲技術(shù)實例安裝教學(xué)篇

PingCAP / 2468人閱讀

摘要：大快搜索數(shù)據(jù)爬蟲技術(shù)實例安裝教學(xué)篇爬蟲安裝前準備工作大快大數(shù)據(jù)平臺安裝完成等組件安裝啟動成功。

大快搜索數(shù)據(jù)爬蟲技術(shù)實例安裝教學(xué)篇

爬蟲安裝前準備工作：大快大數(shù)據(jù)平臺安裝完成、zookeeper、redis、elasticsearch、mysql等組件安裝啟動成功。

1、修改爬蟲安裝配置文件(最好在線下修改好后再上傳平臺)

2、修改crawlerdkcrwjdbc.properties配置文件(只修改圖片里的內(nèi)容其他內(nèi)容默認即可)

Hbase.zookeeper.quorum所填地址應(yīng)在DKM監(jiān)控平臺查看：

Redis相關(guān)配置看如下界面：

3、把已修改的crawlerdkcrw下的jdbc.properties配置文件替換到crawlerdkcrw-tomcat-7.0.56webappsROOTWEB-INFclasses下(這下面有一個沒有改好的直接替換)

修改好后把修改好的爬蟲文件打壓成壓縮文件
4、上傳平臺主節(jié)點并解壓(這里就不介紹怎么上傳了的了,本次例子是上傳到root目錄下,安裝包上傳到任何目錄下都可以推選root目錄)

unzip 解壓命令,解壓唱功后會多了一個 cuawler 的文件夾

使用cd crawler 命令進入 crawler 文件夾下

使用mysql -uroot -p123456 < numysql.sql 命令添加numysql.sql數(shù)據(jù)庫

5、分發(fā)爬蟲文件

每個節(jié)點都需要有dkcrw文件, dkcrw-tomcat-7.0.56文件只能放在一個節(jié)點上,不能放在主節(jié)點上(推選放在從節(jié)點)
命令:
scp -r {要分發(fā)的文件名可填寫多個,如果不在要分發(fā)文件的目錄下請?zhí)砑勇窂絵 {分發(fā)到的服務(wù)器ip或名稱:分發(fā)到的路徑}
例如:
cd /opt/dkh
scp -r dkcrw dk2:/opt/dkh/
scp -r dkcrw dkcrw-tomcat-7.0.56/ dk2:/opt/dkh/

6、在分發(fā)了dkcrw-tomcat-7.0.56文件的節(jié)點上給文件添加權(quán)限
命令:
chmod -R 755 {需要給權(quán)限的文件等}
例如:
cd /opt/dkh
chmod -R 755 dkcrw dkcrw-tomcat-7.0.56/

7、啟動爬蟲界面
命令:
cd /opt/dkh/dkcrw-tomcat-7.0.56/bin/
./startup.sh

啟動界面之后再瀏覽器中輸入啟動界面節(jié)點的IP,來打開爬蟲界面看是否啟動成功(賬號密碼是默認的)

8、啟動每個節(jié)點的dkcrw.jar
命令:
主節(jié)點運行
cd /opt/dkh/dkcrw/
nohup java -jar dkcrw.jar master > dkcrw.log 2>&1 &

從節(jié)點運行
cd /opt/dkh/dkcrw/
nohup java -jar dkcrw.jar slave > dkcrw.log 2>&1 &

注意：可以先使用前臺啟動爬蟲，確定爬蟲沒錯誤。
前臺啟動命令java -jar dkcrw.jar master/slave

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/72015.html

相關(guān)文章

  • 大快搜索數(shù)據(jù)爬蟲技術(shù)實例安裝教學(xué)

    摘要：作為搭建大數(shù)據(jù)處理平臺的重要基石，關(guān)于它的分析和講解的文章已經(jīng)有很多了。并且由于是開源軟件，其安裝過程相對比較復(fù)雜。針對每個組建都要配置的這種情況，提供了自動化安裝應(yīng)用來部署。這就大大縮短了的安裝時間，同時也簡化了安裝的過程。 Hadoop作為搭建大數(shù)據(jù)處理平臺的重要基石，關(guān)于它的分析和講解的文章已經(jīng)有很多了。Hadoop本身是一分布式的系統(tǒng)，因此在安裝的時候，需要多每一個節(jié)點進行組建...

    20171112 評論0 收藏0

  • hadoop需要哪些技術(shù)支持

    摘要：是在端的，是提前的，需要自己設(shè)置。如果在開源大數(shù)據(jù)框架上部署大快的開發(fā)框架，需要平臺的組件支持如下數(shù)據(jù)源與引擎數(shù)據(jù)采集數(shù)據(jù)處理模塊機器學(xué)習(xí)和模塊上傳服務(wù)器端包，直接支持搜索引擎模塊不獨立發(fā)布 hadoop是一個開源軟件框架，可安裝在一個商用機器集群中，使機器可彼此通信并協(xié)同工作，以高度分布式的方式共同存儲和處理大量數(shù)據(jù)。最初，Hadoop 包含以下兩個主要組件：Hadoop Distr...

    MartinHan 評論0 收藏0

  • 什么是自然語言處理技術(shù)

    摘要：自然語言處理是計算機科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向。自然語言處理并不是一般地研究自然語言，而在于研制能有效地實現(xiàn)自然語言通信的計算機系統(tǒng)，特別是其中的軟件系統(tǒng)。自然語言處理無可避免地成為信息科學(xué)技術(shù)中長期發(fā)展的一個新的戰(zhàn)略制高點。 自然語言處理（NLP）是計算機科學(xué)，人工智能，語言學(xué)關(guān)注計算機和人類（自然）語言之間的相互作用的領(lǐng)域。自然語言處理是計算機科學(xué)領(lǐng)域與人工智能領(lǐng)域中的...

    邱勇 評論0 收藏0

  • Python爬蟲教學(xué)(寫給入門的新手) 一

    摘要：在不懂和等協(xié)議的情況下，我直接打個比方來解釋一下什么是請求，以瀏覽器為例，人在瀏覽器輸入，然后敲擊鍵，直到頁面出現(xiàn)，整個過程，我們可以抽象為我們向百度服務(wù)器發(fā)起的一次請求。更專業(yè)，更詳細的解釋，自己去百度學(xué)習(xí)吧。 前言 ??剛學(xué)完python基礎(chǔ)，想學(xué)習(xí)爬蟲的新手，這里有你想要的東西。??本文著重點在于教新手如何學(xué)習(xí)爬蟲，并且會以外行人的思維進行形象地講解。最近我一兄弟想學(xué)，我就想寫個...

    zone 評論0 收藏0

  • Hadoop新手篇：hadoop入門基礎(chǔ)教程

    摘要：新手篇入門基礎(chǔ)教程關(guān)于的分享此前一直都是零零散散的想到什么就寫什么，整體寫的比較亂吧。上兩周寫的五篇內(nèi)容，匯總到一起就算是新手入門的一個基礎(chǔ)性教程吧持續(xù)更新中。應(yīng)該在改版完成后就可以正常申請下載了。 Hadoop新手篇：hadoop入門基礎(chǔ)教程關(guān)于hadoop的分享此前一直都是零零散散的想到什么就寫什么，整體寫的比較亂吧。最近可能還算好的吧，畢竟花了兩周的時間詳細的寫完的了hadoop...

    levinit 評論0 收藏0

發(fā)表評論

0條評論

閱讀需要支付1元查看
<