亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專(zhuān)欄INFORMATION COLUMN

Selenium+python親測(cè)爬蟲(chóng)工具爬取年度電影榜單

Jiavan / 3115人閱讀

摘要：介紹是一個(gè)用于應(yīng)用程序測(cè)試的工具，測(cè)試直接運(yùn)行在瀏覽器中，就像真正的用戶(hù)在操作一樣。支持的瀏覽器包括，，，，，等，它在的領(lǐng)域里的引用能使初學(xué)者大大的省去解析網(wǎng)頁(yè)中代加密的一些麻煩。

Selenium介紹

Selenium 是一個(gè)用于Web應(yīng)用程序測(cè)試的工具，Selenium測(cè)試直接運(yùn)行在瀏覽器中，就像真正的用戶(hù)在操作一樣。

支持的瀏覽器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等，它在python的領(lǐng)域里的引用能使初學(xué)者大大的省去解析網(wǎng)頁(yè)中代加密的一些麻煩。

*特別適合小白練手

Selenium安裝

1.首先要下載一個(gè)python的環(huán)境，最新的python環(huán)境里有繼承好的pip工具包（這塊知識(shí)見(jiàn)python官網(wǎng)操作）

2.下載瀏覽器的驅(qū)動(dòng)（我這邊以谷歌瀏覽器，你們也可以下載其他的）

打開(kāi)https://npm.taobao.org/mirrors/chromedriver鏈接（這個(gè)是谷歌瀏覽器的驅(qū)動(dòng)），先找到自身瀏覽器的版本進(jìn)行下載，找自身瀏覽器版本方法見(jiàn)下圖1，圖2

圖1

圖2

我這里的是93.0.4577.63接著在驅(qū)動(dòng)下載頁(yè)面下載自己的版本的驅(qū)動(dòng)，（如果沒(méi)有自己的版本就找這個(gè)版本之前的一個(gè)） 見(jiàn)下圖3

?圖3

下載好后把解壓好的包安裝在自己的python環(huán)境下。

找python環(huán)境目錄的方法：1.打開(kāi)python--------右擊----選擇運(yùn)行? 圖4 做記號(hào)的就是我的路徑

?圖4

把下好的復(fù)制到相應(yīng)的路徑下就可以了如圖5

圖5

電影榜單的抓取

工具：PyCharm 2021.2

python編譯環(huán)境：python3.8

首先導(dǎo)入需要的依賴(lài)包 在python終端中打入

pip install selenium

解析網(wǎng)頁(yè)：

首先打開(kāi)網(wǎng)址https://www.endata.com.cn/BoxOffice/BO/Year/index.html? 按F12打開(kāi)代碼解釋器

進(jìn)行一個(gè)解析，我們測(cè)試代碼是否能自動(dòng)的打開(kāi)瀏覽器

from selenium.webdriver import Chromeweb = Chrome() web.get("https://www.endata.com.cn/BoxOffice/BO/Year/index.html")

經(jīng)過(guò)測(cè)試是能打開(kāi)需要的網(wǎng)址的，接著我們要爬的是每一年度第一的觀影榜單,我們利用xpath進(jìn)行一個(gè)定位。

sel_el = web.find_element_by_xpath("http://*[@id="OptionDate"]")#定位一個(gè)下拉列表

xpath不會(huì)定位的見(jiàn)下圖

?定位到的位置

?我們觀察到這里有一個(gè)下拉列表，我們需要對(duì)下拉列表進(jìn)行一個(gè)封裝然后根據(jù)索引(這里直接根據(jù)options）進(jìn)行一個(gè)遍歷查找（這塊涉及到前端知識(shí)點(diǎn)下拉列表）

sel = Select(sel_el)    for i in range(len(sel.options)):        sel.select_by_index(i)

?最后找到你要爬取的內(nèi)容，我這爬取的是電影名稱(chēng)和票房

table = web.find_element_by_xpath("http://*[@id="TableList"]/table/tbody/tr[1]/td[2]/a/p").textpiaofang = web.find_element_by_xpath("http://*[@id="TableList"]/table/tbody/tr[1]/td[4]").text

把爬取的內(nèi)容保存到當(dāng)前目錄文件下，最后一部進(jìn)行代碼段的整合

整合代碼段：

import timefrom selenium.webdriver import Chromefrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.support.select import Selectweb =Chrome()web.get("https://www.endata.com.cn/BoxOffice/BO/Year/index.html")with open("data.csv", "w", encoding="utf-8") as f:  #打開(kāi)文件，進(jìn)行寫(xiě)入    sel_el = web.find_element_by_xpath("http://*[@id="OptionDate"]")#定位一個(gè)下拉列表#對(duì)元素進(jìn)行包裝    sel = Select(sel_el)    for i in range(len(sel.options)):   #前端的下拉列表的        sel.select_by_index(i)        time.sleep(2)   #進(jìn)行一個(gè)2s的休眠        table = web.find_element_by_xpath("http://*[@id="TableList"]/table/tbody/tr[1]/td[2]/a/p").text    #定位要找的東西位置        piaofang = web.find_element_by_xpath("http://*[@id="TableList"]/table/tbody/tr[1]/td[4]").text        nianfen = web.find_element_by_xpath("http://*[@id="OptionDate"]/option[1]").text        f.write(table)        f.write("/r")        f.write(piaofang)        f.write("/r/n")    f.close()web.close()print("爬取完畢")

效果展示：

總結(jié)：

安裝驅(qū)動(dòng)有不明白的地方可以提出來(lái)哦，讓我們一起努力一起學(xué)習(xí)，有那寫(xiě)的不對(duì)的還請(qǐng)各位大佬指正，感覺(jué)寫(xiě)的還行的，給個(gè)小贊，小編也有寫(xiě)下去的動(dòng)力

??????

???????

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/119073.html

相關(guān)文章

  • 首次公開(kāi)，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

    摘要：時(shí)間永遠(yuǎn)都過(guò)得那么快，一晃從年注冊(cè)，到現(xiàn)在已經(jīng)過(guò)去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時(shí)候把他們整理一下了。那是因?yàn)槭詹貖A太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...

    Harriet666 評(píng)論0 收藏0

  • 爬蟲(chóng) - 收藏集 - 掘金

    摘要：在這之前，還是有必要對(duì)一些概念超輕量級(jí)反爬蟲(chóng)方案后端掘金前言爬蟲(chóng)和反爬蟲(chóng)日益成為每家公司的標(biāo)配系統(tǒng)。 爬蟲(chóng)修煉之道——從網(wǎng)頁(yè)中提取結(jié)構(gòu)化數(shù)據(jù)并保存（以爬取糗百文本板塊所有糗事為例） - 后端 - 掘金歡迎大家關(guān)注我的專(zhuān)題：爬蟲(chóng)修煉之道 上篇 爬蟲(chóng)修煉之道——編寫(xiě)一個(gè)爬取多頁(yè)面的網(wǎng)絡(luò)爬蟲(chóng)主要講解了如何使用python編寫(xiě)一個(gè)可以下載多頁(yè)面的爬蟲(chóng)，如何將相對(duì)URL轉(zhuǎn)為絕對(duì)URL，如何限速，...

    1fe1se 評(píng)論0 收藏0

  • 爬蟲(chóng)攻防實(shí)踐

    摘要：之前在學(xué)校曾經(jīng)用過(guò)的方法做過(guò)一些爬蟲(chóng)腳本來(lái)玩，從正式轉(zhuǎn)前端之后，出于興趣，我對(duì)爬蟲(chóng)和反爬蟲(chóng)又做了一些了解，并且做了一些爬蟲(chóng)攻防的實(shí)踐。爬蟲(chóng)腳本通常會(huì)很頻繁的進(jìn)行網(wǎng)絡(luò)請(qǐng)求，比如要爬取豆瓣排行榜的電影，就會(huì)連續(xù)發(fā)送個(gè)網(wǎng)絡(luò)請(qǐng)求。 之前在學(xué)校曾經(jīng)用過(guò)request+xpath的方法做過(guò)一些爬蟲(chóng)腳本來(lái)玩，從ios正式轉(zhuǎn)前端之后，出于興趣，我對(duì)爬蟲(chóng)和反爬蟲(chóng)又做了一些了解，并且做了一些爬蟲(chóng)攻防的實(shí)踐...

    wanglu1209 評(píng)論0 收藏0

  • 爬蟲(chóng)攻防實(shí)踐

    摘要：之前在學(xué)校曾經(jīng)用過(guò)的方法做過(guò)一些爬蟲(chóng)腳本來(lái)玩，從正式轉(zhuǎn)前端之后，出于興趣，我對(duì)爬蟲(chóng)和反爬蟲(chóng)又做了一些了解，并且做了一些爬蟲(chóng)攻防的實(shí)踐。爬蟲(chóng)腳本通常會(huì)很頻繁的進(jìn)行網(wǎng)絡(luò)請(qǐng)求，比如要爬取豆瓣排行榜的電影，就會(huì)連續(xù)發(fā)送個(gè)網(wǎng)絡(luò)請(qǐng)求。 之前在學(xué)校曾經(jīng)用過(guò)request+xpath的方法做過(guò)一些爬蟲(chóng)腳本來(lái)玩，從ios正式轉(zhuǎn)前端之后，出于興趣，我對(duì)爬蟲(chóng)和反爬蟲(chóng)又做了一些了解，并且做了一些爬蟲(chóng)攻防的實(shí)踐...

    xiangzhihong 評(píng)論0 收藏0

  • 零基礎(chǔ)如何學(xué)爬蟲(chóng)技術(shù)

    摘要：楚江數(shù)據(jù)是專(zhuān)業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)服務(wù)，現(xiàn)整理出零基礎(chǔ)如何學(xué)爬蟲(chóng)技術(shù)以供學(xué)習(xí)，。本文來(lái)源知乎作者路人甲鏈接楚江數(shù)據(jù)提供網(wǎng)站數(shù)據(jù)采集和爬蟲(chóng)軟件定制開(kāi)發(fā)服務(wù)，服務(wù)范圍涵蓋社交網(wǎng)絡(luò)電子商務(wù)分類(lèi)信息學(xué)術(shù)研究等。 楚江數(shù)據(jù)是專(zhuān)業(yè)的互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)服務(wù)，現(xiàn)整理出零基礎(chǔ)如何學(xué)爬蟲(chóng)技術(shù)以供學(xué)習(xí)，http://www.chujiangdata.com。 第一：Python爬蟲(chóng)學(xué)習(xí)系列教程（來(lái)源于某博主：htt...

    KunMinX 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<