selenium實(shí)戰(zhàn)-同步網(wǎng)易云音樂歌單到qq音樂

dailybird 發(fā)布于2019-07-25 12:01 / 2000人閱讀

摘要：對(duì)于這次的爬蟲來說，由于網(wǎng)易云音樂以及音樂網(wǎng)頁中大部分元素都是使用渲染生成的，因此選擇使用來完成這次的腳本?？梢园l(fā)現(xiàn)網(wǎng)易云音樂的手機(jī)版歌單地址是?，F(xiàn)在已經(jīng)支持網(wǎng)易云音樂與音樂歌單的互相同步。

本文主要介紹selenium在爬蟲腳本的實(shí)際應(yīng)用。適合剛接觸python，沒使用過selenium的童鞋。(如果你是老司機(jī)路過的話，幫忙點(diǎn)個(gè)star吧)

項(xiàng)目地址

https://github.com/Denon/sync...

selenium介紹

selenium官網(wǎng). 直接引用官網(wǎng)的話

Selenium automates browsers. That"s it! What you do with that power is entirely up to you. Primarily, it is for automating web applications for testing purposes, but is certainly not limited to just that. Boring web-based administration tasks can (and should!) also be automated as well.

簡單翻譯下

selenium是一個(gè)自動(dòng)化的瀏覽器, 主要使用來做web應(yīng)用的自動(dòng)化測(cè)試。

個(gè)人認(rèn)為用selenium主要的好處是: 可以解析js渲染的頁面。對(duì)于這次的爬蟲來說，由于網(wǎng)易云音樂以及qq音樂網(wǎng)頁中大部分元素都是使用js渲染生成的，因此選擇使用selenium來完成這次的腳本。

環(huán)境準(zhǔn)備

python 2.7

selenium

phantomjs / Chromium

selenium 運(yùn)行需要額外的瀏覽器支持. 其中phantomjs可以在這里下載, Chromium可以在這里下載。前期debug階段建議使用 Chromium 。

詳細(xì)的包依賴請(qǐng)查看github項(xiàng)目

流程

初始化selenium

從網(wǎng)易云音樂歌單網(wǎng)頁中獲取歌曲列表

登錄qq音樂

搜索音樂

添加到qq音樂的歌單中

初始化selenium

from selenium import webdriver
# 這里是使用PhantomJs, 如果使用chromium則使用webdriver.Chrome(),
# 并替換對(duì)應(yīng)的驅(qū)動(dòng)路徑即可
phantomjs_driver = phantomjs_driver_path

opts = Options()
opts.add_argument("user-agent={}".format(headers["User-Agent"]))
browser = webdriver.PhantomJS(phantomjs_driver)

從網(wǎng)易云音樂中獲取音樂

對(duì)于一般爬蟲來說, 如果能用手機(jī)端網(wǎng)頁爬取那就無腦選網(wǎng)頁端爬取?？梢园l(fā)現(xiàn)網(wǎng)易云音樂的手機(jī)版歌單地址是: http://music.163.com/m/playli... 。這個(gè)地址么一看就知道, 后面那串id就是歌單id。chrome瀏覽器打開調(diào)試工具, 可以看到所有的歌曲都在...里面。那么直接用requests + beautifulsoup 爬取元素就好。這里就不深入討論了。具體的代碼請(qǐng)參考項(xiàng)目

登錄qq音樂

一般來說，爬蟲做登錄有兩種選擇。一種是抓包，分析登錄請(qǐng)求體，直接模擬登錄，這種穩(wěn)定性較好，只要解析出請(qǐng)求體后，登錄一般都能成功。一種是模擬正常登錄操作，在輸入框中輸入賬號(hào)密碼，然后點(diǎn)擊登錄按鈕來登錄，這種穩(wěn)定性較差，有可能會(huì)有各種意外的情況，比如驗(yàn)證碼之類的。這里當(dāng)然要使用第二種來做(不然就跑題了)。

首先打開qq音樂網(wǎng)站, 發(fā)現(xiàn)qq登錄的按鈕在

這里介紹selenium第一個(gè)函數(shù)find_element_by_xpath，這個(gè)函數(shù)就是根據(jù)element的xpath來獲取元素的。

browser.find_element_by_xpath("/html/body/div[1]/div/div[2]/span/a[2]").click()

點(diǎn)擊完后, 頁面應(yīng)該會(huì)彈出一個(gè)登錄框, 不過默認(rèn)應(yīng)該是掃碼登錄, 這個(gè)時(shí)候就要點(diǎn)擊下“帳號(hào)密碼登錄”來切換?？梢园l(fā)現(xiàn), 這個(gè)切換按鈕的id是switcher_plogin. 那么使用selenium的 find_element_by_id 函數(shù):

browser.find_element_by_id("switcher_plogin").click()

按理來說這段代碼應(yīng)該能運(yùn)行成功，但是如無意外的話，我們只能獲得一個(gè)報(bào)錯(cuò)

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"id","selector":"switcher_plogin"}

這是什么情況？？？

細(xì)心點(diǎn)觀察可以發(fā)現(xiàn)，這個(gè)彈出來的登錄框是在一個(gè)iframe里面。這個(gè)時(shí)候需要使用到另外一個(gè)函數(shù)switch_to.frame，

# 切換iframe
browser.switch_to.frame("frame_tips")
browser.find_element_by_id("switcher_plogin").click()
# 輸入賬號(hào)密碼, 用到send_keys函數(shù)
user_input = browser.find_element_by_id("u")
user_input.send_keys("qq_account")
pwd_input = self.browser.find_element_by_id("p")
pwd_input.send_keys("qq_password")
# 最后要切換回來
browser.switch_to.default_content()

可以發(fā)現(xiàn)ok了，然后賬號(hào)密碼等輸入框直接用上面介紹過的函數(shù)直接獲取就行。

搜索歌曲

在瀏覽器中打開qq音樂實(shí)際搜索一下，發(fā)現(xiàn)搜索的url是 https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E6%B5%AE%E5%A4%B8，可以看到搜索的關(guān)鍵詞在 w 這個(gè)參數(shù)里面，并且中文字是被url encode過的。那么這里使用python內(nèi)置的urllib2包即可

from urllib2 import quote
url_sw = quote(search_word.encode("utf8"))

由于python2坑爹的編碼問題, 一般把字符存儲(chǔ)成unicode, 在需要使用的時(shí)候再轉(zhuǎn)換對(duì)應(yīng)編碼比較合適。

添加到歌單

人工添加歌單的操作實(shí)際分為三步:

鼠標(biāo)移動(dòng)到歌曲上

點(diǎn)擊 + 號(hào)

點(diǎn)擊對(duì)應(yīng)的歌單

觀察html元素可以發(fā)現(xiàn)，搜索出來的歌曲都在

...

里面。這里使用find_elements_by_class_name這個(gè)函數(shù)

all_song = browser.find_elements_by_class_name("songlist__list")

點(diǎn)擊完以后，可以看到歌單的html元素都在

里面。

all_playlist = browser.find_elements_by_class_name("operate_menu__item")

而其中每個(gè)歌單是以data-dirid這個(gè)屬性來區(qū)分的，這里介紹另外一個(gè)元素選擇函數(shù)find_element_by_css_selector

browser.find_element_by_css_selector("a[data-dirid="{}"]").click()

那么就這樣結(jié)束了么?
當(dāng)然不是！實(shí)際運(yùn)行中發(fā)現(xiàn)，這里面大部分元素都是js渲染生成的，直接使用selenium函數(shù)去獲取這些元素，很大可能會(huì)報(bào)錯(cuò)

selenium.common.exceptions.ElementNotVisibleException: Message: element not visible

碰到這種情況，最好的解決辦法是，用selenium直接執(zhí)行js腳本來調(diào)用元素，selenium執(zhí)行js腳本的函數(shù)為execute_script

browser.execute_script("document.getElementsByClassName("songlist__list")[0].firstElementChild.getElementsByClassName("list_menu__add")[0].click()"

而js代碼是可以直接在瀏覽器上debug的，一般現(xiàn)在瀏覽器上執(zhí)行成功在復(fù)制回來。

其他一些輔助方法

在實(shí)際操作中，雖然使用的方法是正確的，但會(huì)出現(xiàn)很多意外的情況導(dǎo)致本次操作是失敗的，這時(shí)候就需要來一次重試來解決問題(如果一次重試解決不了問題，那就來兩次)。這里使用一個(gè)裝飾器來寫

def retry(retry_times=0, exc_class=Exception, notice_message=None, print_exc=False):
    """retry_times: 重試次數(shù)
    exc_class: 捕捉的異常
    notice_message: 提示信息
    print_exc: 是否打印錯(cuò)誤信息
    """
    def wrapper(f):
        @functools.wraps(f)
        def inner_wrapper(*args, **kwargs):
            current = 0
            while True:
                try:
                    return f(*args, **kwargs)
                except exc_class as e:
                    if print_exc:
                        traceback.print_exc()
                    if current >= retry_times:
                        raise RetryException()
                    if notice_message:
                        print notice_message
                    current += 1
        return inner_wrapper
    return wrapper

總結(jié)

介紹了selenium獲取元素的各種用法，更多的請(qǐng)參考文檔

解決使用selenium可能會(huì)碰到的一些坑。

最后在安利一次github項(xiàng)目, https://github.com/Denon/sync...。歡迎點(diǎn)贊以及提issue?，F(xiàn)在已經(jīng)支持網(wǎng)易云音樂與qq音樂歌單的互相同步。

GPU云服務(wù)器云服務(wù)器網(wǎng)易云音樂api如何部署到服務(wù)器網(wǎng)易云音樂網(wǎng)易云音樂解析網(wǎng)易云音樂下載

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://www.ezyhdfw.cn/yun/38639.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

dailybird

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

入手萬彩錄屏大師體驗(yàn)高清錄屏視頻輸出且自帶視頻編輯特效素材

閱讀 1792·2021-10-18 13:34
ION Cloud：$120/年/2核/2GB內(nèi)存/60GB SSD空間/3TB流量/1Gbps端口

閱讀 3981·2021-09-08 10:42
搬瓦工VPS：高端線路，助力企業(yè)運(yùn)營，10Gbps美國 cn2 gia，1Gbps香港cn2 gia

閱讀 1611·2021-09-02 09:56
sublime text3 - 打造成小程序開發(fā)神器

閱讀 1661·2019-08-30 15:54
校招筆試 | C語言筆試必考系列?。。?/a>

閱讀 3198·2019-08-29 18:44

又是一波前端知識(shí)點(diǎn)總結(jié)

閱讀 3352·2019-08-26 18:37
react-lazy-load粗讀

閱讀 2285·2019-08-26 12:13
axios基于常見業(yè)務(wù)場(chǎng)景的二次封裝(更新)

閱讀 525·2019-08-26 10:20

亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！

selenium實(shí)戰(zhàn)-同步網(wǎng)易云音樂歌單到qq音樂

相關(guān)文章

**Vue 實(shí)現(xiàn)網(wǎng)易云音樂 WebApp**

React實(shí)現(xiàn)H5在線音樂播放器

**Python 從零開始爬蟲(七)——實(shí)戰(zhàn)：網(wǎng)易云音樂評(píng)論爬取（附加密算法）**

**15行Python代碼搞定網(wǎng)易云熱門歌單**

發(fā)表評(píng)論

0條評(píng)論

dailybird

男|高級(jí)講師

TA的文章

入手萬彩錄屏大師體驗(yàn)高清錄屏視頻輸出且自帶視頻編輯特效素材

ION Cloud：$120/年/2核/2GB內(nèi)存/60GB SSD空間/3TB流量/1Gbps端口

搬瓦工VPS：高端線路，助力企業(yè)運(yùn)營，10Gbps美國 cn2 gia，1Gbps香港cn2 gia

sublime text3 - 打造成小程序開發(fā)神器

校招筆試 | C語言筆試必考系列?。。?/a>

又是一波前端知識(shí)點(diǎn)總結(jié)

react-lazy-load粗讀

axios基于常見業(yè)務(wù)場(chǎng)景的二次封裝(更新)

最新活動(dòng)

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！

selenium實(shí)戰(zhàn)-同步網(wǎng)易云音樂歌單到qq音樂

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

男|高級(jí)講師

TA的文章

最新活動(dòng)

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！