摘要：的鏈接在感興趣的同學(xué)可以自行查閱最后總結(jié)當(dāng)返回頭沒(méi)有的時(shí)候，使用猜測(cè)出來(lái)的編碼一般都是很準(zhǔn)的當(dāng)返回頭里面有的時(shí)候，如果有，則的編碼為的值。截圖自己看把，地址在如果還有猜測(cè)編碼的方法，歡迎留言完

大家爬取網(wǎng)頁(yè)的時(shí)候，應(yīng)該都遇到過(guò)這種情況?

當(dāng)我打印網(wǎng)頁(yè)源代碼的時(shí)候

發(fā)現(xiàn) 全部是亂碼的

那這個(gè)時(shí)候應(yīng)該怎么辦呢？

首先，response.content返回的內(nèi)容 是二進(jìn)制內(nèi)容

response.text 則是根據(jù)設(shè)置的encoding來(lái)解碼

# Try charset from content-type  
content = None  
encoding = self.encoding  
  
if not self.content:  
  return str("")  
  
# Fallback to auto-detected encoding.  
if self.encoding is None:  
    encoding = self.apparent_encoding  
  
# Decode unicode from given encoding.  
try:  
    content = str(self.content, encoding, errors="replace")  
except (LookupError, TypeError):

我們可以看到 ，當(dāng)encoding為None的時(shí)候，

編碼是通過(guò)chardet.detect來(lái)獲取的,

def apparent_encoding(self):  
"""The apparent encoding, provided by the chardet library."""  
 ? ?return chardet.detect(self.content)["encoding"]

那么chardet.detect 又是干嘛的呢？

簡(jiǎn)單的講，就是根據(jù)給定的字節(jié)，來(lái)返回他的編碼

至于他是如何實(shí)現(xiàn)的，歡迎去看源代碼。。。

上面說(shuō)到了當(dāng)encoding為None的時(shí)候,requests是如何設(shè)置encoding的

那么encoding 默認(rèn)編碼是啥呢？繼續(xù)查看源代碼

我們?cè)赼dapters.py 里面找到了~

response.encoding = get_encoding_from_headers(response.headers)

def get_encoding_from_headers(headers):  
"""Returns encodings from given HTTP Header Dict.  
 ? ?:param headers: dictionary to extract encoding from.  
 ? ?:rtype: str  
 ? ?"""  
 ? ?content_type = headers.get("content-type")  
  
if not content_type:  
  return None  
content_type, params = cgi.parse_header(content_type)  

if "charset" in params:  
  return params["charset"].strip("""")  
  
if "text" in content_type:  
  return "ISO-8859-1"

簡(jiǎn)單講就是 如何返回頭里面沒(méi)有content_type，則encoding為None

如果charset在參數(shù)里面的話(huà)，則使用charset設(shè)置的值（看下圖，github返回的）

如果text在參數(shù)里面的話(huà)，則使用ISO-8859-1

然后你打印下 你亂碼網(wǎng)頁(yè)的encoding，發(fā)現(xiàn)，還真是ISO-8859-1

你會(huì)很奇怪，為啥當(dāng)content-type為text/html的時(shí)候，編碼為iso-8859-1呢？

現(xiàn)在常見(jiàn)的編碼不是utf8么，requests怎么這么傻*呢...

然后發(fā)現(xiàn)是rfc2016的規(guī)定。。。

rfc2016的鏈接在?https://www.ietf.org/rfc/rfc2...

感興趣的同學(xué)可以自行查閱...

最后總結(jié)

當(dāng)返回頭沒(méi)有content_type 的時(shí)候，encoding使用chardet.detect 猜測(cè)出來(lái)的編碼（一般都是很準(zhǔn)的）

當(dāng)返回頭里面有content_type 的時(shí)候，如果有charset=xxx，則encoding的編碼為chatset的值。如果只是text/html,則編碼為ISO-8859-1

那么當(dāng)你發(fā)現(xiàn)response.text返回亂碼的時(shí)候，怎么辦呢。。。

只要先設(shè)置編碼為None...

再打印.text就可以了..

response.encoding = None  
response.text

本來(lái)呢，本篇文章到此結(jié)束了。。。但是呢。。。

有幾種方法可以知道網(wǎng)頁(yè)的編碼呢？

我們上面講過(guò)的 response.headers中的content_type

通過(guò)chardet.detect猜測(cè)出來(lái)（上面講過(guò)的）

網(wǎng)頁(yè)源代碼中的 meta（且有charset的值）如下面的，則表示網(wǎng)頁(yè)編碼為gb2312（不過(guò)呢，有時(shí)候并不是很準(zhǔn)，這個(gè)是前端瞎xx寫(xiě)的，這時(shí)候就可以用chardet.detect來(lái)猜測(cè)了...）

方法3的代碼如何寫(xiě)呢（如下）

def get_encodings_from_content(content):  
"""Returns encodings from given content string.  
 ? ?:param content: bytestring to extract encodings from.  
 ? ?"""  
 ? ?warnings.warn((  
"In requests 3.0, get_encodings_from_content will be removed. For "  
 ? ? ? ?"more information, please see the discussion on issue #2266. (This"  
 ? ? ? ?" warning should only appear once.)"),  
 ? ? ? ?DeprecationWarning)  
  
    charset_re = re.compile(r"]", flags=re.I)  
    pragma_re = re.compile(r"]", flags=re.I)  
    xml_re = re.compile(r"^]")  
  
    return (charset_re.findall(content) +  
            pragma_re.findall(content) +  
            xml_re.findall(content))

你會(huì)看到requests3.0版本的時(shí)候，這個(gè)方法會(huì)去掉，這又是為什么呢。。。

截圖自己看把，地址在https://github.com/requests/r...

如果還有猜測(cè)編碼的方法，歡迎留言

完...