亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

Python使用xslt提取網(wǎng)頁數(shù)據(jù)

mdluo / 1015人閱讀

摘要：，用庫實現(xiàn)網(wǎng)頁內(nèi)容提取是的一個庫，可以迅速靈活地處理。，集搜客開源代碼下載源開源網(wǎng)絡(luò)爬蟲源，文檔修改歷史，增補文字說明把跟帖的代碼補充了進來，增加最后一章源代碼下載源

1，引言

在Python網(wǎng)絡(luò)爬蟲內(nèi)容提取器一文我們詳細講解了核心部件：可插拔的內(nèi)容提取器類gsExtractor。本文記錄了確定gsExtractor的技術(shù)路線過程中所做的編程實驗。這是第一部分，實驗了用xslt方式一次性提取靜態(tài)網(wǎng)頁內(nèi)容并轉(zhuǎn)換成xml格式。

2，用lxml庫實現(xiàn)網(wǎng)頁內(nèi)容提取

lxml是python的一個庫，可以迅速、靈活地處理 XML。它支持 XML Path Language (XPath) 和 Extensible Stylesheet Language Transformation (XSLT)，并且實現(xiàn)了常見的 ElementTree API。

這2天測試了在python中通過xslt來提取網(wǎng)頁內(nèi)容，記錄如下：

2.1，抓取目標

假設(shè)要提取集搜客官網(wǎng)舊版論壇的帖子標題和回復(fù)數(shù)，如下圖，要把整個列表提取出來，存成xml格式

2.2，源代碼1：只抓當(dāng)前頁，結(jié)果顯示在控制臺

Python的優(yōu)勢是用很少量代碼就能解決一個問題，請注意下面的代碼看起來很長，其實python函數(shù)調(diào)用沒有幾個，大篇幅被一個xslt腳本占去了，在這段代碼中，只是一個好長的字符串而已，至于為什么選擇xslt，而不是離散的xpath或者讓人撓頭的正則表達式，請參看《Python即時網(wǎng)絡(luò)爬蟲項目啟動說明》，我們期望通過這個架構(gòu)，把程序員的時間節(jié)省下來一大半。

可以拷貝運行下面的代碼(在windows10， python3.2下測試通過)：

from urllib import request
from lxml import etree
url="http://www.gooseeker.com/cn/forum/7"
conn = request.urlopen(url)

doc = etree.HTML(conn.read())

xslt_root = etree.XML("""


<列表>
=1 and count(.//*[@class="topic"]/a/text())>0])>0]" mode="列表"/>







<標題>






<回復(fù)數(shù)>









=1 and count(.//*[@class="topic"]/a/text())>0])>0]" mode="列表">






""")

transform = etree.XSLT(xslt_root)
result_tree = transform(doc)
print(result_tree)
2.3，抓取結(jié)果

得到的抓取結(jié)果如下圖：

2.4，源代碼2：翻頁抓取，結(jié)果存入文件

我們對2.2的代碼再做進一步修改，增加翻頁抓取和存結(jié)果文件功能，代碼如下：

from urllib import request
from lxml import etree
import time

xslt_root = etree.XML("""


<列表>
=1 and count(.//*[@class="topic"]/a/text())>0])>0]" mode="列表"/>







<標題>






<回復(fù)數(shù)>









=1 and count(.//*[@class="topic"]/a/text())>0])>0]" mode="列表">






""")

baseurl = "http://www.gooseeker.com/cn/forum/7"
basefilebegin = "jsk_bbs_"
basefileend = ".xml"
count = 1
while (count < 12):
        url = baseurl + "?page=" + str(count)
        conn = request.urlopen(url)
        doc = etree.HTML(conn.read())
        transform = etree.XSLT(xslt_root)
        result_tree = transform(doc)
        print(str(result_tree))
        file_obj = open(basefilebegin+str(count)+basefileend,"w",encoding="UTF-8")
        file_obj.write(str(result_tree))
        file_obj.close()
        count += 1
        time.sleep(2)

我們增加了寫文件的代碼，還增加了一個循環(huán)，構(gòu)造每個翻頁的網(wǎng)址，但是，如果翻頁過程中網(wǎng)址總是不變怎么辦？其實這就是動態(tài)網(wǎng)頁內(nèi)容，下面會討論這個問題。

3，總結(jié)

這是開源Python通用爬蟲項目的驗證過程，在一個爬蟲框架里面，其它部分都容易做成通用的，就是網(wǎng)頁內(nèi)容提取和轉(zhuǎn)換成結(jié)構(gòu)化的操作難于通用，我們稱之為提取器。但是，借助GooSeeker可視化提取規(guī)則生成器MS謀數(shù)臺 ，提取器的生成過程將變得很便捷，而且可以標準化插入，從而實現(xiàn)通用爬蟲，在后續(xù)的文章中會專門講解MS謀數(shù)臺與Python配合的具體方法。

4，接下來閱讀

本文介紹的方法通常用來抓取靜態(tài)網(wǎng)頁內(nèi)容，也就是所謂的html文檔中的內(nèi)容，目前很多網(wǎng)站內(nèi)容是用javascript動態(tài)生成的，一開始html是沒有這些內(nèi)容的，通過后加載方式添加進來，那么就需要采用動態(tài)技術(shù)，請閱讀《Python爬蟲使用Selenium+PhantomJS抓取Ajax和動態(tài)HTML內(nèi)容》。

5，集搜客GooSeeker開源代碼下載源

1.GooSeeker開源Python網(wǎng)絡(luò)爬蟲GitHub源

6，文檔修改歷史

2016-05-26：V2.0，增補文字說明；把跟帖的代碼補充了進來
2016-05-29：V2.1，增加最后一章源代碼下載源

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/37924.html

相關(guān)文章

  • Python爬蟲使用Selenium+PhantomJS抓取Ajax和動態(tài)HTML內(nèi)容

    摘要：，集搜客開源代碼下載源開源網(wǎng)絡(luò)爬蟲源，文檔修改歷史，增補文字說明，增加第五章源代碼下載源，并更換源的網(wǎng)址 showImg(https://segmentfault.com/img/bVvMn3); 1，引言 在Python網(wǎng)絡(luò)爬蟲內(nèi)容提取器一文我們詳細講解了核心部件：可插拔的內(nèi)容提取器類gsExtractor。本文記錄了確定gsExtractor的技術(shù)路線過程中所做的編程實驗。這是第二...

    ymyang 評論0 收藏0

  • Python使用xslt提取網(wǎng)頁數(shù)據(jù)

    摘要：在網(wǎng)絡(luò)爬蟲內(nèi)容提取器一文我們詳細了解了核心部件可插拔的內(nèi)容提取器。這是第一部分，實驗了方式一次性提取靜態(tài)網(wǎng)頁內(nèi)容并轉(zhuǎn)換成格式。 在python網(wǎng)絡(luò)爬蟲內(nèi)容提取器一文我們詳細了解了核心部件：可插拔的內(nèi)容提取器gsExtractor。本文記錄了確定gsExtractor的技術(shù)路線過程中所做的編程實驗。這是第一部分，實驗了xslt方式一次性提取靜態(tài)網(wǎng)頁內(nèi)容并轉(zhuǎn)換成xml格式。用lxml庫實現(xiàn)...

    Jensen 評論0 收藏0

  • Python即時網(wǎng)絡(luò)爬蟲項目: 內(nèi)容提取器的定義

    摘要：集搜客從文件讀取從字符串獲得通過接口獲得返回當(dāng)前提取方法，入?yún)⑹且粋€對象，返回是提取結(jié)果用法示例下面是一個示例程序，演示怎樣使用類提取官網(wǎng)的帖子列表。 1. 項目背景 在python 即時網(wǎng)絡(luò)爬蟲項目啟動說明中我們討論一個數(shù)字：程序員浪費在調(diào)測內(nèi)容提取規(guī)則上的時間，從而我們發(fā)起了這個項目，把程序員從繁瑣的調(diào)測規(guī)則中解放出來，投入到更高端的數(shù)據(jù)處理工作中。 2. 解決方案 為了解決這個問...

    KunMinX 評論0 收藏0

  • API例子：用Python驅(qū)動Firefox采集網(wǎng)頁數(shù)據(jù)

    摘要：開源即時網(wǎng)絡(luò)爬蟲項目將與基于的異步網(wǎng)絡(luò)框架集成，所以本例將使用采集淘寶這種含有大量代碼的網(wǎng)頁數(shù)據(jù)，但是要注意本例一個嚴重缺陷用加載網(wǎng)頁的過程發(fā)生在中，破壞了的架構(gòu)原則。 showImg(https://segmentfault.com/img/bVyzAX); 1，引言 本文講解怎樣用Python驅(qū)動Firefox瀏覽器寫一個簡易的網(wǎng)頁數(shù)據(jù)采集器。開源Python即時網(wǎng)絡(luò)爬蟲項目將與S...

    Harriet666 評論0 收藏0

  • Python即時網(wǎng)絡(luò)爬蟲項目: 內(nèi)容提取器的定義(Python2.7版本)

    摘要：然而，和是有區(qū)別的，即時網(wǎng)絡(luò)爬蟲項目內(nèi)容提取器的定義一文的源碼無法在下使用，本文將發(fā)布一個的內(nèi)容提取器。 1. 項目背景 showImg(https://segmentfault.com/img/bVz5hX); 在Python即時網(wǎng)絡(luò)爬蟲項目啟動說明中我們討論一個數(shù)字：程序員浪費在調(diào)測內(nèi)容提取規(guī)則上的時間太多了（見上圖），從而我們發(fā)起了這個項目，把程序員從繁瑣的調(diào)測規(guī)則中解放出來，投...

    xuxueli 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<