亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

十年老Python程序員：給我一個(gè)鏈接，沒(méi)有我不能爬的視頻，只有我頂不住的視頻

JiaXinYi / 850人閱讀

摘要：算了算了，不整游戲了，反正你們也不愛(ài)看今天來(lái)試試把頭條上扭腰上熱門的那些妹子爬一爬，不知道我頂不頂?shù)米《?zhǔn)備工作使用的環(huán)境專業(yè)版要用的第三方模塊三大致流程鑒于你們不喜歡我啰嗦，但是流程呢，我還是要給你們寫出來(lái)，所以我就多帶帶把它列出來(lái)了。

一、寫在前面

真的，為什么別人發(fā)游戲這么多人看，我發(fā)了兩次了加起來(lái)才一百個(gè)。

算了算了，不整游戲了，反正你們也不愛(ài)看~

今天來(lái)試試把頭條上扭腰上熱門的那些妹子爬一爬，不知道我頂不頂?shù)米

二、準(zhǔn)備工作

1、使用的環(huán)境
  • python 3.8
  • pycharm 2021.2 專業(yè)版
2、要用的第三方模塊
  • selenium
  • requests
  • parsel

三、大致流程

鑒于你們不喜歡我啰嗦，但是流程呢，我還是要給你們寫出來(lái)，所以我就多帶帶把它列出來(lái)了。

1、網(wǎng)站分析(明確需求)
  1. 在視頻網(wǎng)頁(yè)源代碼當(dāng)中找到 embedUrl 對(duì)應(yīng)的鏈接；
  2. 在鏈接當(dāng)中找到視頻播放地址，在元素面板當(dāng)中；
  3. 發(fā)現(xiàn)規(guī)律 embedUrl上面的 groupby_id 其實(shí)就是當(dāng)前視頻鏈接上的id，下載視頻的時(shí)候 就只需要 一個(gè) id 就可以下載視頻；（https://www.ixigua.com/embed?group_id=7029910152576926238）
2、代碼實(shí)現(xiàn)過(guò)程
  1. 構(gòu)建embedUrl https://www.ixigua.com/embed?group_id=7029910152576926238
  2. 使用selenium訪問(wèn)該鏈接
  3. 提取視頻鏈接地址
  4. 拼接視頻鏈接地址
  5. 使用requests發(fā)送請(qǐng)求 并且獲取視頻二進(jìn)制數(shù)據(jù)
  6. 保存視頻

如果大家在學(xué)習(xí)Python的過(guò)程中不知道學(xué)習(xí)方向，該怎么學(xué)，沒(méi)有好的系統(tǒng)的學(xué)習(xí)資料、沒(méi)人交流解答等等，都可以私我，我都給大家準(zhǔn)備好了。

四、代碼展示分析

首先導(dǎo)入一下模塊

import requestsfrom selenium import webdriver

進(jìn)入瀏覽器設(shè)置

options = webdriver.ChromeOptions()

1、構(gòu)建embedUrl https://www.ixigua.com/embed?group_id=7029910152576926238

group_id = input("請(qǐng)輸入你要下載視頻的id:")url = "https://www.ixigua.com/embed?group_id=" + group_id

無(wú)頭瀏覽器

options.add_argument("--headless")

加一個(gè)偽裝

options.add_argument("User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"")

2、使用selenium訪問(wèn)該鏈接
driver: 瀏覽器

driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)

打開(kāi)一個(gè)網(wǎng)頁(yè)
驅(qū)動(dòng)配置: 代碼操作瀏覽器的一個(gè)中間人

driver.get(url)

隱式等待: 最多等待五秒 如果一秒鐘加載完了 繼續(xù)執(zhí)行

driver.implicitly_wait(5)

3、提取視頻鏈接地址

info = driver.find_elements_by_xpath("http://*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]")video_url = info[0].get_attribute("url")

4、拼接視頻鏈接地址

video_url = "http:" + video_url

5、使用requests發(fā)送請(qǐng)求 并且獲取視頻二進(jìn)制數(shù)據(jù)

video_data = requests.get(video_url).contentwith open("1.mp4", mode="wb") as f:    f.write(video_data)

所有代碼

import requestsfrom selenium import webdriver# 進(jìn)入瀏覽器設(shè)置options = webdriver.ChromeOptions()# 1. 構(gòu)建embedUrl https://www.ixigua.com/embed?group_id=7029910152576926238group_id = input("請(qǐng)輸入你要下載視頻的id:")url = "https://www.ixigua.com/embed?group_id=" + group_id# 無(wú)頭瀏覽器options.add_argument("--headless")# 加一個(gè)偽裝options.add_argument("User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"")# 2. 使用selenium訪問(wèn)該鏈接# driver: 瀏覽器driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)# 打開(kāi)一個(gè)網(wǎng)頁(yè)# 驅(qū)動(dòng)配置: 代碼操作瀏覽器的一個(gè)中間人driver.get(url)# 隱式等待: 最多等待五秒 如果一秒鐘加載完了 繼續(xù)執(zhí)行driver.implicitly_wait(5)# 3. 提取視頻鏈接地址info = driver.find_elements_by_xpath("http://*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]")video_url = info[0].get_attribute("url")# 4. 拼接視頻鏈接地址video_url = "http:" + video_url# 5. 使用requests發(fā)送請(qǐng)求 并且獲取視頻二進(jìn)制數(shù)據(jù)video_data = requests.get(video_url).contentwith open("1.mp4", mode="wb") as f:    f.write(video_data)print("爬取成功!!!")#留了報(bào)錯(cuò)，看看大家夠不夠機(jī)智找出來(lái)

兄弟們看完覺(jué)得有幫助，記得點(diǎn)贊三連哇~

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/124798.html

相關(guān)文章

  • 十年老Python程序員：給我一個(gè)鏈接，沒(méi)有我不能爬的視頻，只有我頂不住的視頻

    摘要：算了算了，不整游戲了，反正你們也不愛(ài)看今天來(lái)試試把頭條上扭腰上熱門的那些妹子爬一爬，不知道我頂不頂?shù)米《?zhǔn)備工作使用的環(huán)境專業(yè)版要用的第三方模塊三大致流程鑒于你們不喜歡我啰嗦，但是流程呢，我還是要給你們寫出來(lái)，所以我就單獨(dú)把它列出來(lái)了。 ...

    Jrain 評(píng)論0 收藏0

  • Python爬蟲：給我一個(gè)鏈接，虎牙視頻隨便下載

    摘要：爬取的原理我們來(lái)到虎牙視頻主界面，鏈接為虎牙視頻主界面然后隨便點(diǎn)擊一下某個(gè)視頻的發(fā)布者，來(lái)到這個(gè)發(fā)布者的主界面，點(diǎn)擊到視頻，如下我們可以看到這個(gè)界面下有許多視頻可以觀看，那么怎樣下載呢我們隨便點(diǎn)擊其中的一個(gè)視頻進(jìn)入，按 ...

    lvzishen 評(píng)論0 收藏0

  • 交封不殺！——python獲取bilibli視頻封面

    摘要：我又回頭看那個(gè)爬京東的程序哦我好像被反爬蟲發(fā)現(xiàn)了解決反爬蟲問(wèn)題這下可以了吧直接點(diǎn)開(kāi)鏈接看一下沒(méi)錯(cuò)，火狐才是我的默認(rèn)瀏覽器終于不用再說(shuō)交封不殺了。 昨晚終于提交了該死的31條CPU，今天十節(jié)課翹了八節(jié)，躺在宿舍睡覺(jué)，不幸遇到幾百年難得一見(jiàn)的點(diǎn)名……然而當(dāng)時(shí)我在吃炸雞，沒(méi)法（懶）趕過(guò)去，達(dá)成第一次翹課就點(diǎn)名。 心情郁結(jié)的我打算看一看漂亮小姐姐開(kāi)心一下，于是我發(fā)現(xiàn)了這個(gè)視頻：showImg(...

    dance 評(píng)論0 收藏0

  • Python

    摘要：最近看前端都展開(kāi)了幾場(chǎng)而我大知乎最熱語(yǔ)言還沒(méi)有相關(guān)。有關(guān)書籍的介紹，大部分截取自是官方介紹。但從開(kāi)始，標(biāo)準(zhǔn)庫(kù)為我們提供了模塊，它提供了和兩個(gè)類，實(shí)現(xiàn)了對(duì)和的進(jìn)一步抽象，對(duì)編寫線程池進(jìn)程池提供了直接的支持。 《流暢的python》閱讀筆記 《流暢的python》是一本適合python進(jìn)階的書, 里面介紹的基本都是高級(jí)的python用法. 對(duì)于初學(xué)python的人來(lái)說(shuō), 基礎(chǔ)大概也就夠用了...

    dailybird 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<