各位童鞋，大家好，我是?

在《?UI自動(dòng)化工具輕松實(shí)現(xiàn)微信消息收發(fā)?朋友圈爬取??》文末給童鞋們布置了一個(gè)作業(yè)，批量朋友圈爬取，不知道大伙們是否還有映像。

看到很多小伙伴們踴躍報(bào)名參與，不禁要給你們點(diǎn)個(gè)贊?？紤]到很多小伙伴想做卻做出來(lái)，這…貼心的我這不就來(lái)給你們公布參考答案啦？

對(duì)相關(guān)基礎(chǔ)還不了解的童鞋請(qǐng)參考前文：

• 《?UI自動(dòng)化工具輕松實(shí)現(xiàn)微信消息收發(fā)?朋友圈爬取??》

• 《???對(duì)比PyWinAuto和uiautomation實(shí)現(xiàn)微信聯(lián)系人自動(dòng)采集??》

• 《??UI自動(dòng)化輕松解決微信手工群發(fā)消息的煩惱??》

• 《?Python輕松下載整理或刪除微信收藏?》

首先我們開始爬取朋友圈：

?朋友圈數(shù)據(jù)爬取?

去外面轉(zhuǎn)了一圈，再回來(lái)發(fā)現(xiàn)10分鐘之內(nèi)就爬完了一周的朋友圈：

當(dāng)然這是因?yàn)槲业奈⑿藕糜烟?，一周總共也只發(fā)了不到1000條消息。

晚上重新爬了一下，爬到8月21號(hào)直到朋友圈的數(shù)據(jù)無(wú)法繼續(xù)拉取，始終都是這個(gè)狀態(tài)說(shuō)明已經(jīng)無(wú)法拉取再早的朋友圈數(shù)據(jù)：

共爬到1186條朋友圈動(dòng)態(tài)數(shù)據(jù)，耗時(shí)12分鐘：

打開Excel簡(jiǎn)單的美化一下格式就得到如下結(jié)果：

篩選了有點(diǎn)贊和評(píng)論的數(shù)據(jù)。

同時(shí)對(duì)于每一條存在圖片或視頻的朋友圈，都會(huì)在本地存儲(chǔ)一張截圖：

可以看到在這近1200條朋友圈中有725條數(shù)據(jù)觸發(fā)的圖片或視頻關(guān)鍵字產(chǎn)生截圖：

?好友朋友圈數(shù)據(jù)分析?

讀取數(shù)據(jù)：

import pandas as pddf = pd.read_excel("朋友圈.xlsx")df = df.convert_dtypes()

我的好友給誰(shuí)的點(diǎn)贊最多呢？

t = df.groupby("昵稱").agg(    點(diǎn)贊總?cè)藬?shù)=("點(diǎn)贊人數(shù)", "sum"),    評(píng)論總條數(shù)=("評(píng)論條數(shù)", "sum"),    發(fā)朋友圈條數(shù)=("序號(hào)", "count"))display(t.sort_values("點(diǎn)贊總?cè)藬?shù)", ascending=False).head(10))

原來(lái)我的好友中，大家最喜歡給這些數(shù)據(jù)分析相關(guān)的好友點(diǎn)贊：

排除點(diǎn)只發(fā)一條朋友圈的平均點(diǎn)贊比例最高的依然是數(shù)據(jù)分析相關(guān)的：

秘密1：我的朋友圈中，數(shù)據(jù)分析相關(guān)的好友的朋友最容易被點(diǎn)贊。

t[t.發(fā)朋友圈條數(shù) > 10].shape[0]

一周發(fā)朋友圈超過10條的話癆有21人。

t.發(fā)朋友圈條數(shù).value_counts()

1     882     533     295     194     176     1110     67      68      512     4Name: 發(fā)朋友圈條數(shù), dtype: int64

秘密2：我的好友中發(fā)過朋友圈的好友更傾向于一周只發(fā)一條朋友圈。

秘密3：幾個(gè)培訓(xùn)機(jī)構(gòu)的營(yíng)銷號(hào)發(fā)朋友圈最頻率，現(xiàn)在就把你們刪掉。

點(diǎn)贊數(shù)排名前7的朋友圈：

評(píng)論數(shù)排名前7的朋友圈：

篩選出有時(shí)間信息的朋友圈統(tǒng)計(jì)大家的發(fā)朋友圈時(shí)間傾向：

秘密4：好友們最傾向在中午12點(diǎn)和晚上7點(diǎn)發(fā)朋友圈。

朋友圈內(nèi)容詞云圖：

import jiebaimport stylecloudfrom IPython.display import Imagewords = df.內(nèi)容.apply(jieba.lcut).explode()words = words[words.apply(len) > 1]words = words[~words.isin(["包含", "圖片", "視頻", "天前", "小時(shí)", "昨天", "自己"])]stylecloud.gen_stylecloud(text=" ".join(words), max_words=500,                          collocations=False,                          font_path=r"C:/Windows/Fonts/msyhbd.ttc",                          icon_name="fas fa-square",                          size=653,                          output_name="tmp.png")Image(filename="tmp.png")

評(píng)論區(qū)內(nèi)容詞云圖：

import jiebaimport stylecloudfrom IPython.display import Imagewords = df.評(píng)論列表.dropna().apply(jieba.lcut).explode()words = words[words.apply(len) > 1]words = words[~words.isin(["回復(fù)", "免費(fèi)", "欄目", "一個(gè)", "包含", "其他"])]stylecloud.gen_stylecloud(text=" ".join(words), max_words=500,                          collocations=False,                          font_path=r"C:/Windows/Fonts/msyhbd.ttc",                          icon_name="fas fa-thumbs-up",                          size=653,                          output_name="tmp.png")Image(filename="tmp.png")

從詞云圖看來(lái)，我的朋友圈都愛數(shù)據(jù)愛技術(shù)愛學(xué)習(xí)愛知識(shí)，這真是驚人的密碼…

??PC端朋友圈爬取代碼與難點(diǎn)?

保證節(jié)點(diǎn)在可視范圍內(nèi)能夠被完整截圖：

節(jié)點(diǎn)的底部位置比顯示界面更大時(shí)表示在外面，按一下向下的方向鍵。

解析節(jié)點(diǎn)的數(shù)據(jù)：

對(duì)內(nèi)容數(shù)據(jù)直接取父節(jié)點(diǎn)的Name，獲取完整的全部文本，解析字符串即可得到昵稱、發(fā)布時(shí)間等信息。

第一麻煩點(diǎn)是解析出點(diǎn)贊和評(píng)論，上述代碼之所以那么復(fù)雜是因?yàn)榇嬖谥挥悬c(diǎn)贊、只有評(píng)論、既有點(diǎn)贊又有評(píng)論，點(diǎn)贊和評(píng)論都沒有四種情況。為了能夠同時(shí)適配這四種情況，經(jīng)過反復(fù)測(cè)試最終編寫出上述代碼。上述代碼基于必定存在的評(píng)論按鈕為基準(zhǔn)點(diǎn)進(jìn)行查找。

第二個(gè)麻煩點(diǎn)是想精準(zhǔn)只截圖片、視頻或視頻號(hào)，需要非常多的異常檢測(cè)代碼，每種情況變化都非常大，很難通用。最終我直接放棄，選擇直接對(duì)整個(gè)節(jié)點(diǎn)包含昵稱一起截圖。對(duì)一個(gè)節(jié)點(diǎn)是否進(jìn)行截圖，取決于這個(gè)節(jié)點(diǎn)的文本是否包含視頻或圖片關(guān)鍵字。

注意：截屏調(diào)用節(jié)點(diǎn)的CaptureToImage方法即可對(duì)指定節(jié)點(diǎn)的范圍截圖保存到指定文件。

批量爬取代碼：

注意上述代碼處理翻頁(yè)時(shí)的異常情況，當(dāng)節(jié)點(diǎn)不存在任何文本內(nèi)容時(shí)，說(shuō)明定位到了一個(gè)加載數(shù)據(jù)的節(jié)點(diǎn)，我們可以先按一次向上方向鍵回退之后，再按一下向下的方向鍵，即可定位到剛加載的新節(jié)點(diǎn)。如果回退再向下之后，名稱依然是空，說(shuō)明已經(jīng)將朋友圈能夠拉取到的數(shù)據(jù)都加載完了，可以結(jié)束程序。

??說(shuō)明：本文作為第一節(jié)的參考答案并不會(huì)提供可以直接復(fù)制粘貼的代碼，還需要各位童鞋們自己獨(dú)立完成作業(yè)。不需要寫到我這么復(fù)雜，根據(jù)實(shí)際需求簡(jiǎn)化代碼編寫即可。

完整代碼已經(jīng)零碎的全部給到大家，剩下的可以根據(jù)理解，自己取敲即可。