資訊專欄INFORMATION COLUMN
摘要：，首先把爬蟲項(xiàng)目上傳到服務(wù)器我的服務(wù)器架設(shè)在公司內(nèi)網(wǎng)里。部署名會在后面的部署項(xiàng)目環(huán)節(jié)用到。新項(xiàng)目創(chuàng)建創(chuàng)建完成。，部署項(xiàng)目的文件想要爬蟲程序真正進(jìn)行抓取起來，還有一步。選擇文件，部署文件至此，部署爬蟲項(xiàng)目就結(jié)束了。
1，首先把scrapy爬蟲項(xiàng)目上傳到服務(wù)器
我的服務(wù)器架設(shè)在公司內(nèi)網(wǎng)里。所以在這里使用WinSCP作為上傳工具。
2，修改項(xiàng)目的配置文件scrapy.cfg
給爬蟲項(xiàng)目指定分組，具體方法是在deploy:之后添加部署名，比如圖中的項(xiàng)目，部署名是sf。
部署名會在后面的部署項(xiàng)目環(huán)節(jié)用到。
打開url行的注釋，并且配置一臺安裝scrapyd的服務(wù)器
3，使用scrapyd-deploy部署爬蟲項(xiàng)目到linux
在命令行輸入 scrapyd-deploy -l 可以顯示當(dāng)前部署的項(xiàng)目
4，執(zhí)行打包命令，完成項(xiàng)目部署
scrapyd-deploy 部署名 -p 項(xiàng)目名
5，然后編譯爬蟲項(xiàng)目
依然使用scrapyd-deploy命令完成
scrapyd-deploy --build-egg 項(xiàng)目編譯文件.egg
6，在spiderkeeper中新建項(xiàng)目
點(diǎn)擊projects按鈕，
選擇create project選項(xiàng)
隨后彈出遮罩框，然后給新項(xiàng)目起名字，點(diǎn)擊create按鈕。新項(xiàng)目創(chuàng)建創(chuàng)建完成。
7，部署項(xiàng)目的egg文件
想要爬蟲程序真正進(jìn)行抓取起來，還有一步。就是將egg文件部署到項(xiàng)目上。
選擇egg文件，部署文件
至此，scrapyd部署爬蟲項(xiàng)目就結(jié)束了。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/42813.html
摘要：阿里云安裝腳本安裝腳本兩個腳本可以任選其一，速度都非常不錯。推薦的加速器有和阿里云。阿里云不同平臺的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說明。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)部署相關(guān)庫 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---...
摘要：分布式爬蟲，分發(fā)網(wǎng)址是基于地址。注意要使用管理同一個集群，爬蟲項(xiàng)目名稱須一致，同時集群中配置相同任務(wù)瀏覽器訪問啟動爬蟲時即可看見兩個集群配置，啟動同名爬蟲開始分布式爬蟲啟動分布式爬蟲后狀態(tài) Scrapy-cluster 建設(shè) 基于Scrapy-cluster庫的kafka-monitor可以實(shí)現(xiàn)分布式爬蟲 Scrapyd+Spiderkeeper實(shí)現(xiàn)爬蟲的可視化管理 環(huán)境 IP...
摘要：下載器負(fù)責(zé)獲取頁面，然后將它們交給引擎來處理。內(nèi)置了一些下載器中間件，這些中間件將在后面介紹。下載器中間件下載器中間件可以在引擎和爬蟲之間操縱請求和響應(yīng)對象。爬蟲中間件與下載器中間件類似，啟用爬蟲中間件需要一個字典來配置。 前段時間我寫了一篇《scrapy快速入門》，簡單介紹了一點(diǎn)scrapy的知識。最近我的搬瓦工讓墻了，而且我又學(xué)了一點(diǎn)mongodb的知識，所以這次就來介紹一些scr...
摘要：支持一鍵部署項(xiàng)目到集群。添加郵箱帳號設(shè)置郵件工作時間和基本觸發(fā)器，以下示例代表每隔小時或當(dāng)某一任務(wù)完成時，并且當(dāng)前時間是工作日的點(diǎn)，點(diǎn)和點(diǎn)，將會發(fā)送通知郵件。除了基本觸發(fā)器，還提供了多種觸發(fā)器用于處理不同類型的，包括和等。 showImg(https://segmentfault.com/img/remote/1460000018772067?w=1680&h=869); 安裝和配置 ...
摘要：以上示例代表當(dāng)發(fā)現(xiàn)條或條以上的級別的時，自動停止當(dāng)前任務(wù)，如果當(dāng)前時間在郵件工作時間內(nèi)，則同時發(fā)送通知郵件。 showImg(https://segmentfault.com/img/remote/1460000018052810); 一、需求分析 初級用戶： 只有一臺開發(fā)主機(jī) 能夠通過 Scrapyd-client 打包和部署 Scrapy 爬蟲項(xiàng)目，以及通過 Scrapyd JS...
閱讀 1877·2021-11-18 13:20
閱讀 1232·2021-10-11 10:59
閱讀 3055·2021-08-24 10:01
閱讀 3589·2019-08-29 14:21
閱讀 3456·2019-08-29 14:15
閱讀 3600·2019-08-26 12:23
閱讀 3416·2019-08-26 11:46
閱讀 3433·2019-08-26 11:35
