例子如下：

import re

reg4 = r"(?
<_sre.SRE_Match object; span=(4, 11), match="-python">

環(huán)視在對(duì)字符串插入某些字符很有效，你可以利用它來(lái)匹配位置，然后插入對(duì)應(yīng)的字符，而不需要對(duì)原來(lái)的文本進(jìn)行替換。

在正則表達(dá)式中，分組可以幫助我們提取出想要的特定信息。

指明分組很簡(jiǎn)單，只需要在想捕獲的表達(dá)式中兩端加上()就可以了。在python中，我們可以用re.search(reg, xx).groups()來(lái)獲取到所有的分組。
默認(rèn)的()中都指明了一個(gè)分組，分組序號(hào)為i，i從1開(kāi)始，分別用re.search(reg, xx).group(i)來(lái)獲取。

如果不想捕獲分組可以使用(?:...)來(lái)指明。

具體例子如下：

import re

reg7 = r"hello,([a-zA-Z0-9]+)"
print(re.search(reg7, "hello,world").groups())
print(re.search(reg7, "hello,world").group(1))
print(re.search(reg7, "hello,python").groups())
print(re.search(reg7, "hello,python").group(1))

# 輸出結(jié)果
("world",)
world
("python",)
python

貪婪匹配是指正則表達(dá)式盡可能匹配多的字符，也就是趨于最大長(zhǎng)度匹配。

正則表達(dá)式默認(rèn)是貪婪模式。

例子如下：

import re

reg5 = r"hello.*world"
print(re.search(reg5, "hello world,hello python,hello world,hello javascript"))

# 輸出結(jié)果
<_sre.SRE_Match object; span=(0, 36), match="hello world,hello python,hello world">

由上可以看到它匹配的是hello world,hello python,hello world而不是剛開(kāi)始的hello world。那如果我們只是想匹配剛開(kāi)始的hello world，這時(shí)候我們可以利用正則表達(dá)式的非貪婪模式。

非貪婪匹配正好與貪婪匹配相反，它是指盡可能匹配少的字符，只要匹配到了就結(jié)束。要使用貪婪模式，僅需要在量詞后面加上一個(gè)問(wèn)號(hào)(?)就可以。

還是剛剛那個(gè)例子：

import re

reg5 = r"hello.*world"
reg6 = r"hello.*?world"
print(re.search(reg5, "hello world,hello python,hello world,hello javascript"))
print(re.search(reg6, "hello world,hello python,hello world,hello javascript"))

# 輸出結(jié)果
<_sre.SRE_Match object; span=(0, 36), match="hello world,hello python,hello world">
<_sre.SRE_Match object; span=(0, 11), match="hello world">

由上可以看到這是我們剛剛想要匹配的效果。

有了上面的基礎(chǔ)知識(shí)，我們就可以進(jìn)入開(kāi)發(fā)環(huán)節(jié)了。

本次我們的最終目的是寫(xiě)一個(gè)簡(jiǎn)單的python爬蟲(chóng)，這個(gè)爬蟲(chóng)能夠下載一個(gè)靜態(tài)網(wǎng)頁(yè)，并且在保持網(wǎng)頁(yè)引用資源的相對(duì)路徑下下載它的靜態(tài)資源（如js/css/images）。測(cè)試網(wǎng)站為http://www.peersafe.cn/index.html，效果圖如下：

我們的總體思路是先獲取到網(wǎng)頁(yè)的內(nèi)容，然后利用正則表達(dá)式來(lái)提取我們想要的資源鏈接，最后就是下載資源。

我們選用python3自帶的urllib.http來(lái)發(fā)出http請(qǐng)求，或者你可以采用第三方請(qǐng)求庫(kù)requests。

獲取內(nèi)容的部分代碼如下：

url = "http://www.peersafe.cn/index.html"

# 讀取網(wǎng)頁(yè)內(nèi)容
webPage = urllib.request.urlopen(url)
data = webPage.read()
content = data.decode("UTF-8")
print("> 網(wǎng)站內(nèi)容抓取完畢，內(nèi)容長(zhǎng)度：", len(content))

獲取到內(nèi)容之后，我們需要把它保存下來(lái)，也就是寫(xiě)到本地磁盤(pán)上。我們定義一個(gè)SAVE_PATH路徑，代表專(zhuān)門(mén)放置爬蟲(chóng)下載的文件。

# python-spider-downloads是我們要放置的目錄
# 這里推薦使用os模塊來(lái)獲取當(dāng)前的目錄或者拼接路徑
# 不推薦直接使用"F://xxx" + "http://python-spider-downloads"等方式

SAVE_PATH = os.path.join(os.path.abspath("."), "python-spider-downloads")

接下來(lái)就是為這個(gè)站點(diǎn)創(chuàng)建一個(gè)多帶帶的文件夾了。這個(gè)站點(diǎn)文件夾的格式是xxxx-xx-xx-domain，比如2018-08-03-www.peersafe.cn。在此之前，我們需要寫(xiě)一個(gè)函數(shù)來(lái)提取出一個(gè)url鏈接的域名、相對(duì)路徑、請(qǐng)求文件名和請(qǐng)求參數(shù)等等，這個(gè)在后續(xù)在根據(jù)資源文件的引用方式創(chuàng)建相對(duì)應(yīng)的文件夾時(shí)也會(huì)用到。

比如輸入http://www.peersafe.cn/index.html，那么將會(huì)輸出:

{"baseUrl": "http://www.peersafe.cn", "fullPath": "http://www.peersafe.cn/", "protocol": "http://", "domain
": "www.peersafe.cn", "path": "/", "fileName": "index.html", "ext": "html", "params": ""}

部分代碼如下：

REG_URL = r"^(https?://|//)?((?:[a-zA-Z0-9-_]+.)+(?:[a-zA-Z0-9-_:]+))((?:/[-_.a-zA-Z0-9]*?)*)((?<=/)[-a-zA-Z0-9]+(?:.([a-zA-Z0-9]+))+)?((?:?[a-zA-Z0-9%&=]*)*)$"

regUrl = re.compile(REG_URL)

# ...

"""
解析URL地址
"""
def parseUrl(url):
    if not url:
        return

    res = regUrl.search(url)
    # 在這里，我們把192.168.1.109:8080的形式也解析成域名domain，實(shí)際過(guò)程中www.baidu.com等才是域名，192.168.1.109只是IP地址
    # ("http://", "192.168.1.109:8080", "/abc/images/111/", "index.html", "html", "?a=1&b=2")
    if res is not None:
        path = res.group(3)
        fullPath = res.group(1) + res.group(2) + res.group(3)

        if not path.endswith("/"):
            path = path + "/"
            fullPath = fullPath + "/"
        return dict(
            baseUrl=res.group(1) + res.group(2),
            fullPath=fullPath,
            protocol=res.group(1),
            domain=res.group(2),
            path=path,
            fileName=res.group(4),
            ext=res.group(5),
            params=res.group(6)
        )

"""
解析路徑

eg:
    basePath => F:Programspythonpython-spider-downloads
    resourcePath => /a/b/c/ or a/b/c

    return => F:Programspythonpython-spider-downloadsac
"""
def resolvePath(basePath, resourcePath):
    # 解析資源路徑
    res = resourcePath.split("/")
    # 去掉空目錄 /a/b/c/ => [a, b, c]
    dirList = list(filter(lambda x: x, res))

    # 目錄不為空
    if dirList:
        # 拼接出絕對(duì)路徑
        resourcePath = reduce(lambda x, y: os.path.join(x, y), dirList)
        dirStr = os.path.join(basePath, resourcePath)
    else:
        dirStr = basePath

    return dirStr

上面的正則表達(dá)式REG_URL有點(diǎn)長(zhǎng)，這個(gè)正則表達(dá)式能解析目前我遇到的各種url形式，如果有不能解析的，你可以自行補(bǔ)充，我測(cè)試過(guò)的url列表可以去我的github中查看。

首先一個(gè)最復(fù)雜的url鏈接（比如"http://192.168.1.109:8080/abc/images/111/index.html?a=1&b=2"）來(lái)說(shuō)，我們想分別提取出http://, 192.168.1.109:8080, /abc/images/111/, index.html, ?a=1&b=2。提取出/abc/images/111/的目的是為以后創(chuàng)建目錄做準(zhǔn)備，index.html是寫(xiě)入網(wǎng)頁(yè)內(nèi)容的名字。

有需要的可以深入研究一下REG_URL的寫(xiě)法，如果有更好的或者看不懂的，我們可以一起探討。

有了parseUrl函數(shù)之后，我們就可以把剛剛獲取網(wǎng)頁(yè)內(nèi)容和寫(xiě)入文件聯(lián)系起來(lái)了，代碼如下：

# 首先創(chuàng)建這個(gè)站點(diǎn)的文件夾
urlDict = parseUrl(url)
print("分析的域名：", urlDict)
domain = urlDict["domain"]

filePath = time.strftime("%Y-%m-%d", time.localtime()) + "-" + domain
# 如果是192.168.1.1:8000等形式，變成192.168.1.1-8000，:不可以出現(xiàn)在文件名中
filePath = re.sub(r":", "-", filePath)
SAVE_PATH = os.path.join(SAVE_PATH, filePath)

# 讀取網(wǎng)頁(yè)內(nèi)容
webPage = urllib.request.urlopen(url)
data = webPage.read()
content = data.decode("UTF-8")
print("> 網(wǎng)站內(nèi)容抓取完畢，內(nèi)容長(zhǎng)度：", len(content))

# 把網(wǎng)站的內(nèi)容寫(xiě)下來(lái)
pageName = ""
if urlDict["fileName"] is None:
    pageName = "index.html"
else:
    pageName = urlDict["fileName"]

pageIndexDir = resolvePath(SAVE_PATH, urlDict["path"])
if not os.path.exists(pageIndexDir):
    os.makedirs(pageIndexDir)

pageIndexPath = os.path.join(pageIndexDir, pageName)
print("主頁(yè)的地址:", pageIndexPath)
f = open(pageIndexPath, "wb")
f.write(data)
f.close()

我們想要的資源是圖片資源，js文件、css文件和字體文件。如果我們要對(duì)網(wǎng)頁(yè)內(nèi)容一一進(jìn)行解析，利用分組，來(lái)捕獲出我們想要的鏈接形式，比如images/1.png和scripts/lib/jquery.min.js。

代碼如下：

REG_RESOURCE_TYPE = r"(?:href|src|data-original|data-src)=[""](.+?.(?:js|css|jpg|jpeg|png|gif|svg|ico|ttf|woff2))[a-zA-Z0-9?=.]*[""]"

# re.S代表開(kāi)啟多行匹配模式
regResouce = re.compile(REG_RESOURCE_TYPE, re.S)

# ...

# 解析網(wǎng)頁(yè)內(nèi)容，獲取有效的鏈接
# content是上一步讀取到的網(wǎng)頁(yè)內(nèi)容
contentList = re.split(r"s+", content)
resourceList = []
for line in contentList:
    resList = regResouce.findall(line)
    if resList is not None:
        resourceList = resourceList + resList

在解析出資源鏈接后，我們要針對(duì)每一個(gè)資源鏈接進(jìn)行檢查，把它變成符合http請(qǐng)求的url格式，比如把images/1.png加上http頭和剛剛的domain，也就是http://domain/images/1.png。

下面是對(duì)資源鏈接進(jìn)行處理的代碼：

# ./static/js/index.js
# /static/js/index.js
# static/js/index.js
# //abc.cc/static/js
# http://www.baidu/com/static/index.js
if resourceUrl.startswith("./"):
    resourceUrl = urlDict["fullPath"] + resourceUrl[1:]
elif resourceUrl.startswith("http://"):
    resourceUrl = "https:" + resourceUrl
elif resourceUrl.startswith("/"):
    resourceUrl = urlDict["baseUrl"] + resourceUrl
elif resourceUrl.startswith("http") or resourceUrl.startswith("https"):
    # 不處理，這是我們想要的url格式
    pass
elif not (resourceUrl.startswith("http") or resourceUrl.startswith("https")):
    # static/js/index.js這種情況
    resourceUrl = urlDict["fullPath"] + resourceUrl
else:
    print("> 未知resource url: %s" % resourceUrl)

接著就是對(duì)每個(gè)規(guī)范的資源鏈接進(jìn)行解析（parseUrl），提取出它要存放的目錄和文件名等等，然后創(chuàng)建對(duì)應(yīng)的目錄。

在這里，我也處理了引用的其他網(wǎng)站的資源。

# 解析文件，查看文件路徑
resourceUrlDict = parseUrl(resourceUrl)
if resourceUrlDict is None:
    print("> 解析文件出錯(cuò)：%s" % resourceUrl)
    continue

resourceDomain = resourceUrlDict["domain"]
resourcePath = resourceUrlDict["path"]
resourceName = resourceUrlDict["fileName"]

if resourceDomain != domain:
    print("> 該資源不是本網(wǎng)站的，也下載：", resourceDomain)
    # 如果下載的話，根目錄就要變了
    # 再創(chuàng)建一個(gè)目錄，用于保存其他地方的資源
    resourceDomain =  re.sub(r":", "-", resourceDomain)
    savePath = os.path.join(SAVE_PATH, resourceDomain)
    if not os.path.exists(SAVE_PATH):
        print("> 目標(biāo)目錄不存在，創(chuàng)建：", savePath)
        os.makedirs(savePath)
    # continue
else:
    savePath = SAVE_PATH

# 解析資源路徑
dirStr = resolvePath(savePath, resourcePath)

if not os.path.exists(dirStr):
    print("> 目標(biāo)目錄不存在，創(chuàng)建：", dirStr)
    os.makedirs(dirStr)

# 寫(xiě)入文件
downloadFile(resourceUrl, os.path.join(dirStr, resourceName))

下載的函數(shù)downloadFile的代碼是：

"""
下載文件
"""
def downloadFile(srcPath, distPath):
    global downloadedList

    if distPath in downloadedList:
        return
    try:
        response = urllib.request.urlopen(srcPath)
        if response is None or response.status != 200:
            return print("> 請(qǐng)求異常：", srcPath)
        data = response.read()

        f = open(distPath, "wb")
        f.write(data)
        f.close()

        downloadedList.append(distPath)
        # print(">>>: " + srcPath + "：下載成功")

    except Exception as e:
        print("報(bào)錯(cuò)了：", e)

以上就是我們的開(kāi)發(fā)全過(guò)程。

利用urllib.http來(lái)發(fā)網(wǎng)絡(luò)請(qǐng)求

利用正則表達(dá)式來(lái)解析資源鏈接

利用os系統(tǒng)模塊來(lái)處理文件路徑問(wèn)題

這篇文章也算是我這段時(shí)間學(xué)習(xí)python的一個(gè)實(shí)踐總結(jié)，順便記錄下正則表達(dá)式的知識(shí)。同時(shí)我也希望能夠幫助到那些想學(xué)習(xí)正則表達(dá)式和爬蟲(chóng)的小伙伴。

該python爬蟲(chóng)的源代碼已經(jīng)放在我的github上，有興趣的小伙伴可以上去看看，滿意的可以順便給個(gè)Star，感謝支持。