我想學(xué)python。

關(guān)注小編頭條號，私信【學(xué)習資料】，即可免費領(lǐng)取一整套系統(tǒng)的板Python學(xué)習教程！

在用 python2 抓取網(wǎng)頁的時候，經(jīng)常會遇到抓下來的內(nèi)容顯示出來是亂碼。

發(fā)生這種情況的最大可能性就是編碼問題： 運行環(huán)境的字符編碼和網(wǎng)頁的字符編碼不一致。

比如，在 windows 的控制臺（gbk）里抓取了一個 utf-8 編碼的網(wǎng)站?；蛘撸?Mac / Linux 的終端（utf-8）里抓取了一個 gbk 編碼的網(wǎng)站。因為多數(shù)網(wǎng)站采用 utf-8 編碼，而不少人又是用 windows，所有這種情況相當常見。

如果你發(fā)現(xiàn)你抓下來的內(nèi)容，看上去英文、數(shù)字、符號都是對的，但中間夾雜了一些亂碼，那基本可以斷定是此情況。

解決這個問題的辦法就是，把結(jié)果先按網(wǎng)頁的編碼方式 decode 解碼成 unicode，再輸出。如果不確定網(wǎng)頁的編碼，可參照以下代碼：

import urllib req = urllib.urlopen(";) info = req.info() charset = in('charset') content = req.read() print con(charset, 'ignore')

'ignore' 參數(shù)的作用是忽略掉無法解碼的字符。

不過這種方法不總是有效。還有種方式就是通過正則直接匹配網(wǎng)頁代碼中的編碼設(shè)置：

<meta http-equiv=Content-Type content="text/html;charset=utf-8">

除了編碼問題造成亂碼之外，還有種常被忽視的情況，就是 目標網(wǎng)頁啟用了 gzip 壓縮 。壓縮后的網(wǎng)頁傳輸數(shù)據(jù)少了，打開速度更快。在瀏覽器中打開時，瀏覽器會根據(jù)網(wǎng)頁的 header 信息自動做解壓。但直接用代碼抓取則不會。因此很可能就被搞糊涂了，為什么明明打開網(wǎng)頁地址是對的，但程序抓取就不行。連我自己也曾經(jīng)被這個問題坑過。

這種情況的表現(xiàn)是抓取的內(nèi)容幾乎全是亂碼，甚至無法顯示。

要判斷網(wǎng)頁是否啟用了壓縮并對其解壓，可參考以下代碼：

import urllib import gzip from StringIO import StringIO req = urllib.urlopen(";) info = req.info() encoding = in('Content-Encoding') content = req.read() if encoding == 'gzip': buf = StringIO(content) gf = gzip.GzipFile(fileobj=buf) content = gf.read() print content

在我們教室的編程實例查天氣系列(點擊查看) 中，這兩個問題困擾了相當多人。在此特別講解一下。

最后，還有個“利器”要介紹一下。如果一開始就用它，你甚至不知道還有上述兩個問題的存在。

這就是 requests 模塊。

同樣抓取網(wǎng)頁，只需要：

import requests print reque(";).text

沒有編碼問題，沒有壓縮問題。關(guān)注