Python3網(wǎng)絡爬蟲實戰(zhàn)---14、部署相關庫的安裝：Scrapyrt、Gerapy

nihao 發(fā)布于2019-07-31 10:34 / 2193人閱讀

摘要：相關鏈接官方文檔安裝推薦使用安裝，命令如下命令執(zhí)行完畢之后即可完成安裝。的安裝是一個分布式管理模塊，本節(jié)來介紹一下的安裝方式。如果沒有錯誤報出，則證明庫已經(jīng)安裝好了。上一篇文章網(wǎng)絡爬蟲實戰(zhàn)部署相關庫下一篇文章網(wǎng)絡爬蟲實戰(zhàn)爬蟲基礎基本原理

上一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---13、部署相關庫ScrapydClient、ScrapydAPI
下一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---15、爬蟲基礎：HTTP基本原理

Scrapyrt的安裝

Scrapyrt 為 Scrapy 提供了一個調(diào)度的 HTTP 接口，有了它我們不需要再執(zhí)行 Scrapy 命令而是通過請求一個 HTTP 接口即可調(diào)度 Scrapy 任務，Scrapyrt 比 Scrapyd 輕量級，如果不需要分布式多任務的話可以簡單使用 Scrapyrt 實現(xiàn)遠程 Scrapy 任務的調(diào)度。

1. 相關鏈接

GitHub：https://github.com/scrapinghu...

官方文檔：http://scrapyrt.readthedocs.io

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install scrapyrt

命令執(zhí)行完畢之后即可完成安裝。

接下來在任意一個 Scrapy 項目中運行如下命令即可啟動 HTTP 服務：

scrapyrt

運行之后會默認在 9080 端口上啟動服務，類似的輸出結果如下：

scrapyrt
2017-07-12 22:31:03+0800 [-] Log opened.
2017-07-12 22:31:03+0800 [-] Site starting on 9080
2017-07-12 22:31:03+0800 [-] Starting factory

如果想更換運行端口可以使用 -p 參數(shù)，如：

scrapyrt -p 9081

這樣就會在 9081 端口上運行了。

3. Docker安裝

另外 Scrapyrt 也支持 Docker，如想要在 9080 端口上運行，且本地 Scrapy 項目的路徑為 /home/quotesbot，可以使用如下命令運行：

docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

這樣同樣可以在 9080 端口上監(jiān)聽指定的 Scrapy 項目。

Gerapy的安裝

Gerapy 是一個 Scrapy 分布式管理模塊，本節(jié)來介紹一下 Gerapy 的安裝方式。

1. 相關鏈接

GitHub：https://github.com/Gerapy

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install gerapy

3. 測試安裝

安裝完成之后，可以在 Python 命令行下測試。

$ python3
>>> import gerapy

如果沒有錯誤報出，則證明庫已經(jīng)安裝好了。

上一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---13、部署相關庫ScrapydClient、ScrapydAPI
下一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---15、爬蟲基礎：HTTP基本原理

文章版權歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/44059.html

Python3網(wǎng)絡爬蟲實戰(zhàn)---13、部署相關庫ScrapydClient、ScrapydAPI

摘要：相關鏈接使用說明安裝推薦使用安裝，命令如下驗證安裝安裝成功后會有一個可用命令，叫做，即部署命令。我們可以輸入如下測試命令測試是否安裝成功如果出現(xiàn)如圖類似輸出則證明已經(jīng)成功安裝圖運行結果在后文我們會詳細了解它的用法。上一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---12、部署相關庫的安裝：Docker、Scrapyd下一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---14、部署相關庫的安裝：Scra...

lolomaco 2019-07-31 10:34 評論0 收藏0
Python3網(wǎng)絡爬蟲實戰(zhàn)---15、爬蟲基礎：HTTP基本原理

摘要：上一篇文章網(wǎng)絡爬蟲實戰(zhàn)部署相關庫的安裝下一篇文章網(wǎng)絡爬蟲實戰(zhàn)網(wǎng)頁基礎在寫爬蟲之前，還是需要了解一些爬蟲的基礎知識，如原理網(wǎng)頁的基礎知識爬蟲的基本原理基本原理等。由萬維網(wǎng)協(xié)會和工作小組共同合作制定的規(guī)范，目前廣泛使用的是版本。上一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---14、部署相關庫的安裝：Scrapyrt、Gerapy下一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---16、Web網(wǎng)頁基礎...

codeGoogle 2019-07-31 10:34 評論0 收藏0
Python3網(wǎng)絡爬蟲實戰(zhàn)---12、部署相關庫的安裝：Docker、Scrapyd

摘要：阿里云安裝腳本安裝腳本兩個腳本可以任選其一，速度都非常不錯。推薦的加速器有和阿里云。阿里云不同平臺的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說明。上一篇文章網(wǎng)絡爬蟲實戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡爬蟲實戰(zhàn)部署相關庫上一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---...

ityouknow 2019-07-31 10:34 評論0 收藏0
Python3網(wǎng)絡爬蟲實戰(zhàn)---10、爬蟲框架的安裝：PySpider、Scrapy

摘要：所以如果對爬蟲有一定基礎，上手框架是一種好的選擇。缺少包，使用安裝即可缺少包，使用安裝即可上一篇文章網(wǎng)絡爬蟲實戰(zhàn)爬取相關庫的安裝的安裝下一篇文章網(wǎng)絡爬蟲實戰(zhàn)爬蟲框架的安裝上一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---9、APP爬取相關庫的安裝：Appium的安裝下一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis 我們直接...

張憲坤 2019-07-31 10:34 評論0 收藏0
Python3網(wǎng)絡爬蟲實戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedi

摘要：上一篇文章網(wǎng)絡爬蟲實戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡爬蟲實戰(zhàn)部署相關庫的安裝的安裝是一個中支持渲染的工具，本節(jié)來介紹一下它的安裝方式。另外一個是的庫的安裝，安裝之后即可在中使用服務。上一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---10、爬蟲框架的安裝：PySpider、Scrapy下一篇文章：Python3網(wǎng)絡爬蟲實戰(zhàn)---12、部署相關庫的安裝：Docker、Scrapyd Scrap...

harryhappy 2019-07-31 10:34 評論0 收藏0