摘要：通常這種加密都是通過(guò)加密的，所以首先要找到這個(gè)有加密算法的。追蹤函數(shù)，發(fā)現(xiàn)它指向一個(gè)叫的函數(shù)，仔細(xì)研究許久后大概知道加密算法經(jīng)兩次加密獲得，模式為，偏移量為。

某寶評(píng)論區(qū)已經(jīng)成功爬取了，jd的也是差不多的方法，說(shuō)實(shí)話也沒(méi)什么好玩的，我是看上它們分析簡(jiǎn)單，又沒(méi)加密才拿來(lái)試手的。如果真的要看些有趣的評(píng)論的話，我會(huì)選擇網(wǎng)易云音樂(lè)，里面匯聚了哲學(xué)家，小說(shuō)家，story-teller，皮皮蝦等各種人才，某些評(píng)論非常值得收藏（甚至開(kāi)了一個(gè)歌單專(zhuān)門(mén)收藏它們）。竟然這么好玩，何不嘗試把他們爬取下來(lái)呢？

所以這個(gè)（大規(guī)模）網(wǎng)易云音樂(lè)評(píng)論爬取project就成型了

整個(gè)過(guò)程并不順利，網(wǎng)上找到的解決方案清一色用的是pycrypto模塊（已經(jīng)沒(méi)人維護(hù)，且還要裝一個(gè)臃腫的VS14才能安裝），非常麻煩。而少數(shù)用pycryptodome模塊的也出現(xiàn)了報(bào)錯(cuò)/不可行的結(jié)果。最后是看了很多github大佬的源碼，結(jié)合網(wǎng)上的思路，才重新寫(xiě)了出來(lái)。在此分享出來(lái)，提供一個(gè)少走彎路的解決方案

這個(gè)實(shí)戰(zhàn)將詳細(xì)的展示一次手動(dòng)分析解決動(dòng)態(tài)爬取，同時(shí)還會(huì)接觸加密形post請(qǐng)求，更好的解決一些刁難的動(dòng)態(tài)包

網(wǎng)易云音樂(lè)新版WebAPI分析
網(wǎng)易云音樂(lè)常用API淺析
參考代碼

可選：fiddler 捉包工具 （官網(wǎng)下載）
可選：了解一點(diǎn)AES，RSA加密
任一瀏覽器
pycryptodome模塊 （直接pip安裝）
base64及binascii模塊 （直接導(dǎo)入）
可選是指：如果你要深入了解如何找到加密方法，就選

開(kāi)始之前感謝網(wǎng)易云給我?guī)?lái)的音樂(lè)和歡樂(lè)，記住爬取需適度

我們要爬的是歌曲的評(píng)論，而歌曲的來(lái)源有多種，有的來(lái)源于專(zhuān)輯，有的來(lái)源于歌單，有的來(lái)源于歌手頁(yè)；而歌單和專(zhuān)輯的來(lái)源又有多種。所以爬取多個(gè)歌曲的評(píng)論之前，我們要分析一下信息的結(jié)構(gòu)，最好寫(xiě)下來(lái)，這樣頭腦會(huì)更清晰減少代碼修改量。這里放出一張我自己整理的結(jié)構(gòu)，并選擇一條線路來(lái)實(shí)現(xiàn)（發(fā)現(xiàn)音樂(lè)→→歌單→→歌曲→→評(píng)論）

至于上圖所列的其他信息，讀者可以過(guò)完這個(gè)實(shí)戰(zhàn)后自己動(dòng)手實(shí)現(xiàn)，但是要注意的是：某些信息是無(wú)法直接通過(guò)網(wǎng)頁(yè)源碼提取出來(lái)的，需要通過(guò)加密的動(dòng)態(tài)包（其實(shí)是API）獲得，如果有需要的話我可能會(huì)出一篇文章總結(jié)網(wǎng)易云音樂(lè)的API

每個(gè)歌單都有唯一的id，通過(guò)http://music.163.com/playlist... 這個(gè)鏈接就可以找到歌單，所以第一步我們要收集發(fā)現(xiàn)音樂(lè)下的多個(gè)歌單id

首先進(jìn)入官網(wǎng)的“發(fā)現(xiàn)音樂(lè)”的“歌單”一欄，這里可以看到很多高分歌單，先到處點(diǎn)一下，可以發(fā)現(xiàn)鏈接是在改變的，說(shuō)明部分?jǐn)?shù)據(jù)不是動(dòng)態(tài)加載的，可通過(guò)網(wǎng)頁(yè)源碼獲得。最后發(fā)現(xiàn)鏈接有cat，order，offset，和limit四個(gè)對(duì)我們有用的參數(shù)，cat是分類(lèi)，order是排序，offset=（頁(yè)數(shù)-1）*35，limit=35。還有注意使用前要把鏈接的井號(hào)和一個(gè)斜杠去掉，否者會(huì)導(dǎo)致網(wǎng)頁(yè)源碼缺失。

先隨便找一條鏈接requests一下先，可以發(fā)現(xiàn)目標(biāo)信息是完整的，和F12看到的源碼一樣，那歌單id就可以放心提取了，具體用什么方法取決于讀者。參考代碼：

def get_playlists(pages,order,cat):#頁(yè)數(shù)（一頁(yè)獲取35個(gè)歌單id），排序，分類(lèi)
    playlist_ids = []
    for page in range(pages):
        url = "http://music.163.com/discover/playlist/?order={}&cat={}&limit=35&offset={}".format(order,cat,str(page*35))
        print(url)
        r = requests.get(url,headers=headers)
        playlist_ids.extend(re.findall(r"playlist?id=(d+?)" class="msk"",r.text))
    return playlist_ids

每個(gè)歌單都有多首歌曲，所以第二步我們要獲取每個(gè)歌單下的所有歌曲id順便把歌單名也獲取。
歌單鏈接是http://music.163.com/playlist...，先隨便找一個(gè)requests一下先，目標(biāo)沒(méi)缺失但是requests結(jié)果是和F12源碼是不同的，篩選時(shí)請(qǐng)照著requests結(jié)果寫(xiě)（requests結(jié)果只有id和歌名，暫時(shí)夠用那就這樣吧）

另一種方法是通過(guò)API（http://music.163.com/weAPI/v3...）獲取，包含更全的信息（包括歌手，所屬專(zhuān)輯，歌單介紹等），因涉及加密和js調(diào)試較麻煩就不先介紹了（讀者可以根據(jù)本文的加密算法詳解自行調(diào)試），以后會(huì)寫(xiě)篇文章介紹各種API。
參考代碼：

def get_songs(playlist_id="778462085"):
    r = requests.get("http://music.163.com/playlist?id={}".format(playlist_id),headers=headers)
    song_ids = re.findall(r"song?id=(d+?)".+?",r.text)#歌id列表
    song_titles = re.findall(r"song?id=d+?">(.+?)",r.text)#歌名列表
    list_title = re.search(r">(.+?) - 歌單 - 網(wǎng)易云音樂(lè)",r.text).group(1)#歌單名
    list_url = "http://music.163.com/playlist?id="+playlist_id #歌單鏈接
    return [song_ids, song_titles, list_title, list_url]#一次性返回這些信息給評(píng)論爬取器

進(jìn)入某首歌http://music.163.com/song?id=...，很自然就想到requests一下，然而這不會(huì)得到任何評(píng)論信息，因?yàn)樵u(píng)論區(qū)是動(dòng)態(tài)加載的（翻頁(yè)鏈接不變，動(dòng)態(tài)標(biāo)志），所以打開(kāi)F12捉包吧，在xhr中查看response很快找到

搗弄過(guò)后發(fā)現(xiàn)，請(qǐng)求鏈接中“R_SO_4_”后接的是歌曲的id，同一首歌下不同頁(yè)數(shù)的動(dòng)態(tài)包的請(qǐng)求鏈接除csrf_token外是相同的。

請(qǐng)求類(lèi)型為post，需要兩個(gè)參數(shù)，無(wú)論是刷新還是評(píng)論翻頁(yè)這兩個(gè)參數(shù)都會(huì)變，應(yīng)該是加密過(guò)的。

先不理加密先，嘗試把第一頁(yè)的兩個(gè)參數(shù)傳給請(qǐng)求鏈接是能獲得數(shù)據(jù)的，對(duì)應(yīng)第一頁(yè)的評(píng)論，嘗試把csrf_token參數(shù)去除，還是能獲取數(shù)據(jù)，所以csrf_token參數(shù)可以不要。我們大膽一點(diǎn)，繼續(xù)把這對(duì)參數(shù)傳給不同歌曲的請(qǐng)求鏈接，發(fā)現(xiàn)都能獲取對(duì)應(yīng)的第一頁(yè)評(píng)論；而把第二頁(yè)的兩個(gè)參數(shù)傳給不同歌曲的請(qǐng)求鏈接，就會(huì)得到對(duì)應(yīng)第二頁(yè)評(píng)論，以此類(lèi)推。所以得出結(jié)論，任一頁(yè)數(shù)的兩個(gè)參數(shù)對(duì)不同歌曲是通用的，第n頁(yè)的參數(shù)post過(guò)去會(huì)得到第n頁(yè)的評(píng)論。這樣就成功繞過(guò)了加密問(wèn)題。

然而還是存在缺點(diǎn)的，請(qǐng)看下面對(duì)話
A：哈哈哈——這樣就不用理會(huì)怎樣加密了！??！
B：只爬前幾頁(yè)的話確實(shí)是的，但是如果你要爬很多頁(yè)或全部爬取怎么辦，那些10W+評(píng)論的歌曲難道你要手動(dòng)復(fù)制粘貼5000+對(duì)參數(shù)嗎？
C（對(duì)著A）：你不知道網(wǎng)易云音樂(lè)的API是共用一套加密算法的嗎？如果你想爬評(píng)論以外的信息怎么辦？

所以如果你要大量爬取評(píng)論/各種信息時(shí)，加密算法就顯得很重要。具體怎樣加密可以不用了解，直接套用就可（代碼在最后），想了解的話繼續(xù)往下看。

這里簡(jiǎn)單提供一下獲取評(píng)論的參考思路，交給讀者補(bǔ)全

def get_comments(arg):  # 接收get_songs方法返回的數(shù)據(jù)，爬取頁(yè)數(shù)等
    post_urls = [......]  # 通過(guò)get_songs方法返回的數(shù)據(jù)構(gòu)造每首歌的請(qǐng)求鏈接列表
    data = [{}]  # 手動(dòng)寫(xiě)入或加密算法生成
    for i in range(len(post_url)):  # 爬每首歌評(píng)論
        #for j in range(pages):  # 如果每首歌要爬多頁(yè)，那要再設(shè)一個(gè)循環(huán)
        r = requests.post(post_urls[i],data=data,headers=headers)
        print(r.json()) # 剩下解析json數(shù)據(jù)并寫(xiě)入容器。其中json數(shù)據(jù)可能會(huì)有坑，詳看github中的代碼。
""""""

最終帶加密算法的爬評(píng)論代碼：github（代碼笨了，應(yīng)該一次性生成多組params和encSecKey再索引使用而不是每首歌都加密一次，懶得改了....）（暫時(shí)是單線程，比較慢，有時(shí)間加個(gè)多線程下去）

可以確定params和encSecKey這兩個(gè)參數(shù)是加密過(guò)的了，里面包含著頁(yè)數(shù)信息，服務(wù)器收到參數(shù)，解密后根據(jù)內(nèi)容返回信息。通常這種加密都是通過(guò)js加密的，所以首先要找到這個(gè)有加密算法的js。

通過(guò)F12查看包的initiator可以得知其發(fā)起者是core.js，馬上去JS包那里找。

其內(nèi)容是巨量堆砌在一起的，丟去排版一下后拷貝到本地文件中，代碼量20000+，先用搜索一下params和encSecKey看看能否定位到加密算法那里。

結(jié)果是可行的，看到這個(gè)熟悉的data就知道加密函數(shù)是window.asrsea（），接收了4個(gè)參數(shù)！??！又加大了分析難度，根本不知道這些參數(shù)是什么。這時(shí)就要上fiddler了來(lái)調(diào)試js了，能實(shí)現(xiàn)本地js覆蓋原來(lái)的js，讓瀏覽器執(zhí)行本地的js。（使用fiddler前請(qǐng)配置好代理，網(wǎng)上查）

選到autoresponder，把三個(gè)選項(xiàng)全勾上，然后按add rule，添加要替換的js，如圖添加rule，第一欄是待替換的js（就是那個(gè)core.js包的鏈接），第二欄是替換物的絕對(duì)路徑（就是拷貝回來(lái)修改過(guò)的js文件的絕對(duì)路徑），然后按save

對(duì)剛才找到的代碼塊進(jìn)行修改，添加5條語(yǔ)句讓它分別輸出四個(gè)參數(shù)和params，通過(guò)比較包和輸出的params確定成組的4個(gè)參數(shù)。

注意：①拷貝回來(lái)的js一定要趁熱修改趁熱使用，原來(lái)的core.js一段時(shí)間后會(huì)變動(dòng)（如上面兩幅圖第一個(gè)參數(shù)中的j3x變成了j5o），所以不要照抄我的，以你拷貝回來(lái)的為準(zhǔn)
②如果修改后的js沒(méi)在瀏覽器中加載，fiddler也捉不到這個(gè)core.js的話，請(qǐng)清空瀏覽器的緩存再?lài)L試

配置好fiddler修改好js后馬上運(yùn)行fiddler，然后馬上打開(kāi)瀏覽器，開(kāi)啟F12選擇console控制臺(tái)監(jiān)測(cè)輸出，打開(kāi)測(cè)試歌曲鏈接http://music.163.com/#/song?i...，可以看到有很多組輸出，我們可以通過(guò)比較評(píng)論包的params參數(shù)和輸出的params參數(shù)找到評(píng)論對(duì)應(yīng)的那組參數(shù)（如下圖紅色圈著的那組）

我們可以看到，不同組的第二第三第四個(gè)輸出值都是一樣的，所以window.asrsea（）除第一個(gè)參數(shù)是會(huì)變外，其余三個(gè)參數(shù)是定值。研究對(duì)象一下子減到一個(gè)。對(duì)評(píng)論來(lái)說(shuō)，第一個(gè)參數(shù)是"{rid: "R_SO_4_411907742", offset: "0", total: "true", limit: "20", csrf_token: "f15b016ca1e43812f78a260998917527"}" ，是json object，為了搞清其變化規(guī)律，我們把評(píng)論翻到第二頁(yè)看看會(huì)變成怎樣。第二頁(yè)評(píng)論得到"{rid: "R_SO_4_411907742", offset: "20", total: "false", limit: "20", csrf_token: "f15b016ca1e43812f78a260998917527"}"......

按多幾頁(yè)，多切幾首歌后就會(huì)總結(jié)出第一個(gè)參數(shù)的規(guī)律，這個(gè)object包含了歌曲id，頁(yè)數(shù)等信息，應(yīng)該是被加密之前的原始數(shù)據(jù)。

rid——‘R_SO_4_’加上歌曲id（其實(shí)rid參數(shù)可以不要，剛才說(shuō)過(guò)任一頁(yè)數(shù)的兩個(gè)參數(shù)對(duì)不同歌曲是通用的，可以讓它為空字符串）

offset——字符化的數(shù)字，值等于（頁(yè)數(shù)-1）*20

total——第一頁(yè)是"true",其余頁(yè)數(shù)是"false"

limit——固定"20"

csrf_token——之前遇到過(guò)，無(wú)規(guī)律字符串（這個(gè)可以不要，直接讓它為空字符串）

window.asrsea()接收的第一個(gè)參數(shù)還經(jīng)過(guò)JSON.stringify()處理，讓其變成了json數(shù)據(jù)，這個(gè)過(guò)程我們可以用python的json.dumps(dict)實(shí)現(xiàn)

#window.asrsea()接收參數(shù)
"{......}"#第一參數(shù)，那個(gè)json數(shù)據(jù)
"010001"#第二參數(shù)
"00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"#第三參數(shù)
"0CoJUm6Qyw8W8jud"#第四參數(shù)

參數(shù)是搞明白了，但是如何加密還是不清楚，于是回到剛才的js文件中。追蹤window.asrsea()函數(shù)，發(fā)現(xiàn)它指向一個(gè)叫d的函數(shù)，仔細(xì)研究許久后大概知道加密算法

params經(jīng)兩次aes加密獲得，模式為CBC，偏移量為b"0102030405060708"。第一次aes加密的明文是處理后的第一參數(shù)（具體處理方法看代碼），密匙為第四參數(shù)；第二次aes加密的明文是第一次加密獲得的密文，密匙是那個(gè)隨機(jī)數(shù)，之后獲得params，一些具體處理看代碼

encSecKey經(jīng)過(guò)rsa加密，明文和aes第二次加密同一個(gè)隨機(jī)數(shù)，公匙是(第二參數(shù)，第三參數(shù))。

參數(shù)處理細(xì)節(jié)處理請(qǐng)看代碼

import json
from Crypto.Cipher import AES  #新的加密模塊只接受bytes數(shù)據(jù)，否者報(bào)錯(cuò)，密匙明文什么的要先轉(zhuǎn)碼
import base64
import binascii
import random

secret_key = b"0CoJUm6Qyw8W8jud"#第四參數(shù)，aes密匙
pub_key ="010001"#第二參數(shù)，rsa公匙組成
modulus = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
#第三參數(shù)，rsa公匙組成


#生成隨機(jī)長(zhǎng)度為16的字符串的二進(jìn)制編碼
def random_16():
    return bytes("".join(random.sample("1234567890DeepDarkFantasy",16)),"utf-8")


#aes加密
def aes_encrypt(text,key):
    pad = 16 - len(text)%16 #對(duì)長(zhǎng)度不是16倍數(shù)的字符串進(jìn)行補(bǔ)全，然后在轉(zhuǎn)為bytes數(shù)據(jù)
    try:                    #如果接到bytes數(shù)據(jù)（如第一次aes加密得到的密文）要解碼再進(jìn)行補(bǔ)全
        text = text.decode()
    except:
        pass
    text = text + pad * chr(pad)
    try:
        text = text.encode()
    except:
        pass
    encryptor = AES.new(key,AES.MODE_CBC,b"0102030405060708")
    ciphertext = encryptor.encrypt(text)
    ciphertext = base64.b64encode(ciphertext)#得到的密文還要進(jìn)行base64編碼
    return ciphertext

#rsa加密
def rsa_encrypt(ran_16,pub_key,modulus):
    text = ran_16[::-1]#明文處理，反序并hex編碼
    rsa = int(binascii.hexlify(text), 16) ** int(pub_key, 16) % int(modulus, 16)
    return format(rsa, "x").zfill(256)

#返回加密后內(nèi)容
def encrypt_data(data):#接收第一參數(shù)，傳個(gè)字典進(jìn)去
    ran_16 = random_16()
    text = json.dumps(data)
    params = aes_encrypt(text,secret_key)#兩次aes加密
    params = aes_encrypt(params,ran_16)
    encSecKey = rsa_encrypt(ran_16,pub_key,modulus)
    return  {"params":params.decode(),
             "encSecKey":encSecKey  }

剛才分析加密算法進(jìn)行fiddler調(diào)試的時(shí)候，有沒(méi)有注意到有很多組輸出，本文只選了評(píng)論那組進(jìn)行分析。細(xì)心的讀者可以發(fā)現(xiàn)，不同組的第一個(gè)輸出都是一個(gè)json object，內(nèi)容具有可讀性且輸出的params都能找到對(duì)應(yīng)的xhr包。沒(méi)錯(cuò)，那就是明文，不同的明文對(duì)應(yīng)不同的API，明文通過(guò)加密算法得到的params和encSecKey由對(duì)應(yīng)API接收，然后返回對(duì)應(yīng)的信息。

API有很多個(gè)，除了獲取評(píng)論的API外，還有歌詞API，歌單API，專(zhuān)輯API，搜索API，mp3API等等，甚至還有簽到API（這個(gè)要登錄先，所以也有登錄API）

API的鏈接很好找，捉下包就可以了；所以要利用這些API，重點(diǎn)是找到對(duì)應(yīng)明文的規(guī)律，就像上面分析json object一樣，要多次采樣多次試驗(yàn)。在面對(duì)數(shù)十個(gè)API時(shí)，無(wú)疑是非常耗時(shí)的，讀者可以自行探索。