摘要：百度云搜索搜網(wǎng)盤利用系統(tǒng)自帶的庫寫簡單爬蟲獲取一個的源碼讀出源碼內(nèi)容將字節(jié)轉(zhuǎn)化成字符串正則獲取頁面指定內(nèi)容獲取源碼學(xué)院實(shí)戰(zhàn)群正則規(guī)則，獲取到號將網(wǎng)絡(luò)文件下載保存到本地，參數(shù)網(wǎng)絡(luò)文件，參數(shù)保存路徑

利用python系統(tǒng)自帶的urllib庫寫簡單爬蟲

urlopen()獲取一個URL的html源碼
read()讀出html源碼內(nèi)容
decode("utf-8")將字節(jié)轉(zhuǎn)化成字符串

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib.request
html = urllib.request.urlopen("http://edu.51cto.com/course/8360.html").read().decode("utf-8")
print(html)

正則獲取頁面指定內(nèi)容

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib.request
import re
html = urllib.request.urlopen("http://edu.51cto.com/course/8360.html").read().decode("utf-8")   #獲取html源碼
pat = "51CTO學(xué)院Python實(shí)戰(zhàn)群((d*?))"      #正則規(guī)則，獲取到QQ號
rst = re.compile(pat).findall(html)
print(rst)

#["325935753"]

urlretrieve()將網(wǎng)絡(luò)文件下載保存到本地，參數(shù)1網(wǎng)絡(luò)文件URL，參數(shù)2保存路徑

#!/usr/bin/env python
# -*- coding:utf-8 -*-
from urllib import request
import re
import os

file_path = os.path.join(os.getcwd() + "/222.html")    #拼接文件保存路徑
# print(file_path)
request.urlretrieve("http://edu.51cto.com/course/8360.html", file_path) #下載這個文件保存到指定路徑

urlcleanup()清除爬蟲產(chǎn)生的內(nèi)存

#!/usr/bin/env python
# -*- coding:utf-8 -*-
from urllib import request
import re
import os

file_path = os.path.join(os.getcwd() + "/222.html")    #拼接文件保存路徑
# print(file_path)
request.urlretrieve("http://edu.51cto.com/course/8360.html", file_path) #下載這個文件保存到指定路徑
request.urlcleanup()

info()查看抓取頁面的簡介

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib.request
import re
html = urllib.request.urlopen("http://edu.51cto.com/course/8360.html")   #獲取html源碼
a = html.info()
print(a)

# C:UsersadminAppDataLocalProgramsPythonPython35python.exe H:/py/15/chshi.py
# Date: Tue, 25 Jul 2017 16:08:17 GMT
# Content-Type: text/html; charset=UTF-8
# Transfer-Encoding: chunked
# Connection: close
# Set-Cookie: aliyungf_tc=AQAAALB8CzAikwwA9aReq63oa31pNIez; Path=/; HttpOnly
# Server: Tengine
# Vary: Accept-Encoding
# Vary: Accept-Encoding
# Vary: Accept-Encoding

getcode()獲取狀態(tài)碼

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib.request
import re
html = urllib.request.urlopen("http://edu.51cto.com/course/8360.html")   #獲取html源碼
a = html.getcode()  #獲取狀態(tài)碼
print(a)

#200

geturl()獲取當(dāng)前抓取頁面的URL

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib.request
import re
html = urllib.request.urlopen("http://edu.51cto.com/course/8360.html")   #獲取html源碼
a = html.geturl()  #獲取當(dāng)前抓取頁面的URL
print(a)

#http://edu.51cto.com/course/8360.html

timeout抓取超時設(shè)置，單位為秒

是指抓取一個頁面時對方服務(wù)器響應(yīng)太慢，或者很久沒響應(yīng)，設(shè)置一個超時時間，超過超時時間就不抓取了

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib.request
import re
html = urllib.request.urlopen("http://edu.51cto.com/course/8360.html",timeout=30)   #獲取html源碼
a = html.geturl()  #獲取當(dāng)前抓取頁面的URL
print(a)

#http://edu.51cto.com/course/8360.html

自動模擬http請求

http請求一般常用的就是get請求和post請求

get請求

比如360搜索，就是通過get請求并且將用戶的搜索關(guān)鍵詞傳入到服務(wù)器獲取數(shù)據(jù)的

所以我們可以模擬百度http請求，構(gòu)造關(guān)鍵詞自動請求

quote()將關(guān)鍵詞轉(zhuǎn)碼成瀏覽器認(rèn)識的字符，默認(rèn)網(wǎng)站不能是中文

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import urllib.request
import re
gjc = "手機(jī)"     #設(shè)置關(guān)鍵詞
gjc = urllib.request.quote(gjc)         #將關(guān)鍵詞轉(zhuǎn)碼成瀏覽器認(rèn)識的字符，默認(rèn)網(wǎng)站不能是中文
url = "https://www.so.com/s?q="+gjc     #構(gòu)造url地址
# print(url)
html = urllib.request.urlopen(url).read().decode("utf-8")  #獲取html源碼
pat = "(w*w*w*)"            #正則獲取相關(guān)標(biāo)題
rst = re.compile(pat).findall(html)
# print(rst)
for i in rst:
    print(i)                            #循環(huán)出獲取的標(biāo)題

    # 官網(wǎng) < em > 手機(jī) < / em >
    # 官網(wǎng) < em > 手機(jī) < / em >
    # 官網(wǎng) < em > 手機(jī) < / em > 這么低的價格
    # 大牌 < em > 手機(jī) < / em > 低價搶
    # < em > 手機(jī) < / em >
    # 淘寶網(wǎng)推薦 < em > 手機(jī) < / em >
    # < em > 手機(jī) < / em >
    # < em > 手機(jī) < / em >
    # < em > 手機(jī) < / em >
    # < em > 手機(jī) < / em >
    # 蘇寧易購買 < em > 手機(jī) < / em >
    # 買 < em > 手機(jī) < / em >
    # 買 < em > 手機(jī) < / em >

post請求

urlencode()封裝post請求提交的表單數(shù)據(jù)，參數(shù)是字典形式的鍵值對表單數(shù)據(jù)
Request()提交post請求，參數(shù)1是url地址，參數(shù)2是封裝的表單數(shù)據(jù)

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import urllib.request
import urllib.parse

posturl = "http://www.iqianyue.com/mypost/"
shuju = urllib.parse.urlencode({                #urlencode()封裝post請求提交的表單數(shù)據(jù)，參數(shù)是字典形式的鍵值對表單數(shù)據(jù)
    "name": "123",
    "pass": "456"
    }).encode("utf-8")
req = urllib.request.Request(posturl,shuju)     #Request()提交post請求，參數(shù)1是url地址，參數(shù)2是封裝的表單數(shù)據(jù)
html = urllib.request.urlopen(req).read().decode("utf-8")  #獲取post請求返回的頁面
print(html)

【轉(zhuǎn)載自：http://www.leiqiankun.com/?id=49】