本文的相關(guān)鏈接和代碼可以通過崔的博客鏈接獲得。前言

隨著大數(shù)據(jù)時(shí)代的到來，爬蟲已經(jīng)成為獲取數(shù)據(jù)不可或缺的方式。做過爬蟲的一定深有體會(huì)。爬行時(shí)莫名其妙的IP被網(wǎng)站屏蔽。畢竟各大網(wǎng)站都不希望自己的數(shù)據(jù)被輕易爬走。

對于爬蟲來說，為了解決IP被禁的問題，一個(gè)有效的方法就是使用代理。使用代理后，爬蟲可以偽裝自己的真實(shí)IP。如果使用大量隨機(jī)代理進(jìn)行爬行，網(wǎng)站不會(huì)知道我們的爬蟲一直在爬行，有效解決了反爬行的問題。

那么問題來了，我該用什么代理？這里指的代理一般是HTTP代理，主要用于數(shù)據(jù)抓取?，F(xiàn)在打開搜索引擎，搜索HTTP代理。有太多的免費(fèi)和付費(fèi)品牌。我們應(yīng)該如何選擇？看完這篇文章，你心里一定有答案。

對于自由代理，想都別想。謝天謝地，可用率可以超過10%。真正靠譜的代理還是要花錢買的，那么哪家的可用率高呢？哪個(gè)反應(yīng)快？哪個(gè)更穩(wěn)定？哪個(gè)性價(jià)比更高？為此，我對可用性、爬行速度、爬行穩(wěn)定性、價(jià)格、安全性、請求限制等做了詳細(xì)的評估。市場上許多受歡迎的支付代理。我們來看看哪個(gè)更強(qiáng)！

評估范圍自由代理

這里我主要測試付費(fèi)代理，免費(fèi)代理的可用率太低，幾乎不超過10%，但為了比較，我選擇了西慈免費(fèi)代理進(jìn)行測試。

支付代理

付費(fèi)代理我選擇了詹大冶、芝麻HTTP代理、孫HTTP代理、消息代理、快遞代理、蘑菇云代理、阿布云代理、全網(wǎng)代理、云代理、大象代理進(jìn)行對比評測，并使用相同的網(wǎng)絡(luò)環(huán)境購買了他們不同級別的套餐進(jìn)行評測。詳情如下:

代理業(yè)務(wù)

包裝類型

官方網(wǎng)站

芝麻HTTP代理

默認(rèn)版本

http://h.zhimaruanjian.com

Abuyun代理

專業(yè)版

https://www.abuyun.com

動(dòng)態(tài)版本

經(jīng)典版

大象特工

個(gè)人版

http://www.daxiangdaili.com

專業(yè)版

企業(yè)版

全網(wǎng)代理

普通版

http://www.goubanjia.com

動(dòng)態(tài)版本

快速代理

貴賓套餐

https://www.kuaidaili.com

蘑菇劑

默認(rèn)版本

http://www.mogumiao.com

Sun HTTP代理

默認(rèn)版本

http://http.taiyangruanjian.com

新聞代理

質(zhì)量機(jī)構(gòu)

http://www.xdaili.cn

混合廣播代理

獨(dú)家代理

云代理

貴賓套餐

http://www.ip3366.net

詹大冶的經(jīng)紀(jì)人

普通代理

http://ip.zdaye.com

短期質(zhì)量代理

注意:蘑菇代理、太陽HTTP代理、芝麻HTTP代理的默認(rèn)版本表示本網(wǎng)站只有這種代理，不同的包只在時(shí)長上有區(qū)別，代理質(zhì)量沒有區(qū)別。

嗯，上面的包我都買了，做下面的評測。

評估目標(biāo)

本次評估主要分析可用性、響應(yīng)速度、穩(wěn)定性、價(jià)格、安全性、使用頻率等因素。讓我們一個(gè)一個(gè)解釋。

利用率

可用性比率是這些提取的試劑中可以正常使用的比率。如果我們無法使用此代理請求網(wǎng)站或訪問網(wǎng)站超時(shí)，這意味著此代理不可用。這里我的測試樣本量是500，也就是抽取500個(gè)代理看看有什么可用的比例。

響應(yīng)速度

響應(yīng)速度可以通過花費(fèi)的時(shí)間來衡量，即計(jì)算使用此代理請求網(wǎng)站直到獲得響應(yīng)所花費(fèi)的時(shí)間。時(shí)間越短，證明代理的響應(yīng)速度越快。這里也有500個(gè)樣本。計(jì)算中只計(jì)算正?？捎玫拇?，并計(jì)算耗時(shí)的平均值。

穩(wěn)定

因?yàn)槲覀冊谂佬械臅r(shí)候需要使用大量的代理，如果一個(gè)代理響應(yīng)非?？?，可以得到非?？斓捻憫?yīng)，而用于下一個(gè)請求的代理響應(yīng)非常慢，必然會(huì)影響爬行效率，所以我們需要看商家提供的這些代理的穩(wěn)定性。這個(gè)不能很快，下一個(gè)不能太慢。因此，這里我們需要對耗時(shí)的方差進(jìn)行統(tǒng)計(jì)。方差越大，穩(wěn)定性越差。

價(jià)格

價(jià)格當(dāng)然是要考慮的。如果一個(gè)代理有極好的響應(yīng)速度和穩(wěn)定性，但是價(jià)格非常非常高，也是不能接受的。

安全

這確實(shí)是一個(gè)需要考慮的因素。比如代理提取的API一旦不小心泄露出去，別人就會(huì)用我們的API提取代理使用，但是我們的包已經(jīng)被消耗掉了。另外，一旦別人通過某種手段得到了我們的代理人名單，而這些代理人又沒有安全驗(yàn)證，這也會(huì)導(dǎo)致別人暗中使用我們的代理人。在生產(chǎn)環(huán)境中，這方面需要特別注意。

使用頻率

當(dāng)API調(diào)用提取代理時(shí)，一些代理包有頻率限制，而其他代理包限制請求頻率。這些因素或多或少都會(huì)影響爬蟲的效率，我們也需要考慮這些因素。

評價(jià)標(biāo)準(zhǔn)

做標(biāo)準(zhǔn)評估必須在標(biāo)準(zhǔn)評估環(huán)境下進(jìn)行，盡量排除一些雜七雜八的干擾，比如網(wǎng)絡(luò)波動(dòng)、傳輸延遲等。

寄主選擇性

因?yàn)槲业膫€(gè)人筆記本使用WiFi上網(wǎng)，可能會(huì)有網(wǎng)絡(luò)波動(dòng)，實(shí)際帶寬控制不好，不適合標(biāo)準(zhǔn)評測。評估需要在穩(wěn)定的網(wǎng)絡(luò)條件下進(jìn)行，多個(gè)代理的評估環(huán)境必須相同。在這里，我選擇了一臺騰訊云主機(jī)作為測試，主機(jī)配置如下:

參數(shù)名

參數(shù)值

舊歷法

Ubuntu 16 . 04 . 1 LTS(GNU/Linux 4 . 4 . 0-53-通用x86_64)

帶寬

5 Mbps

心數(shù)

2

內(nèi)部存儲(chǔ)

4GB

Python版本

3.5.2

這樣就可以保證一個(gè)標(biāo)準(zhǔn)統(tǒng)一的測試環(huán)境。

現(xiàn)金測試。

另外，評估的時(shí)候要遵循一個(gè)原則，就是考現(xiàn)金，就是考一個(gè)。目前很多支付代理網(wǎng)站都提供API接口，我們可以一次抽取多個(gè)代理，但是這樣會(huì)導(dǎo)致一個(gè)問題。每抽取一個(gè)代理，商家都會(huì)盡力保證其可用性，但是過了一段時(shí)間，這個(gè)代理可能就不好用了，所以如果我們一次抽取100個(gè)代理，但是這100個(gè)代理不同時(shí)參加測試，后面的代理會(huì)經(jīng)歷一個(gè)等待期。如果這些代理經(jīng)過一段時(shí)間的測試，肯定會(huì)影響后一半代理的有效性。所以在這里我們將抽取量統(tǒng)一設(shè)置為1，即請求一個(gè)接口獲取一個(gè)代理，然后立即進(jìn)行測試，這樣可以保證測試的公平性，消除不同代理有效期的干擾。

時(shí)間計(jì)算

因?yàn)槲覀兊臏y試之一是代理的響應(yīng)速度，所以我們需要計(jì)算程序請求之前和獲得響應(yīng)之后的時(shí)間差。這里，我們使用的測試Python庫是Requests，所以我們可以計(jì)算發(fā)起請求和得到響應(yīng)之間的時(shí)間差。時(shí)間計(jì)算方法如下:

這里，used_time是使用代理請求所花費(fèi)的時(shí)間，所以測試只是從請求發(fā)起到響應(yīng)的時(shí)間。

測試鏈接

在測試時(shí)，我們還需要使用一個(gè)穩(wěn)定的沒有反爬蟲的鏈接，以消除服務(wù)器的干擾。這里我們用百度作為測試目標(biāo)。

超時(shí)限制

在測試過程中，我們不可避免地會(huì)遇到代理請求超時(shí)的問題，所以這里我們也需要統(tǒng)一一個(gè)超時(shí)周期，設(shè)置為60秒。如果代理人請求百度，60秒內(nèi)沒有收到回應(yīng)，則視為無效。

測試數(shù)量

做評價(jià)，樣本不能太小。如果只有十幾個(gè)測試，是不可能輕易下結(jié)論的。在這里，我選擇了一個(gè)500的中等評價(jià)量，即每包得到500個(gè)代理進(jìn)行測試。

評估過程

嗯，在評測過程中，我們主要講一下評測的代碼邏輯。首先，我們進(jìn)行一個(gè)測試，因此這里我們定義一個(gè)test_proxy()方法:

這里需要傳入一個(gè)參數(shù)proxy，代表一個(gè)代理，也就是IP加端口組成的代理，然后傳入requests的proxy參數(shù)get()方法。對于無效代理的檢測，這里我們判斷幾個(gè)異常，如proxyerror、connecttimeout、sslerror、readtimeout和connect。如果出現(xiàn)這些異常，它們都將被視為無效代理并返回錯(cuò)誤。如果您在超時(shí)的60秒內(nèi)收到響應(yīng)，請計(jì)算其運(yùn)行時(shí)間并返回。

在主程序中，獲取API并統(tǒng)計(jì)結(jié)果。代碼如下:

這里補(bǔ)充一些判斷。比如is_proxy()方法判斷得到的信息是否符合有效的代理規(guī)則，即判斷是否是IP加端口的形式，可以消除API返回一些錯(cuò)誤消息的干擾。另外，這里設(shè)置了total_count和valid_count兩個(gè)變量，只有滿足代理規(guī)則的代理才參與測試，這樣才算有效測試。如果測試可用，添加valid_count并一起記錄需要時(shí)間。最后，調(diào)用stats_results方法進(jìn)行統(tǒng)計(jì):

Numpy用于計(jì)算耗時(shí)的均值和方差，分別反映代理的響應(yīng)速度和穩(wěn)定性。

嗯，就這樣，我一個(gè)個(gè)測試了不同的代理包。

評估結(jié)果

經(jīng)過評估，初步得到以下統(tǒng)計(jì)結(jié)果:

注意:

表中的響應(yīng)時(shí)間方差越大，代表穩(wěn)定性越低。阿布云代理經(jīng)典版方差較小是因?yàn)樗情L時(shí)間鎖定了同一個(gè) IP，因此極其穩(wěn)定，但每秒最大請求默認(rèn) 5 次。

下面我們將從各個(gè)方面分析每個(gè)套餐的優(yōu)缺點(diǎn)。

利用率

通過可用性率的統(tǒng)計(jì)，我們可以發(fā)現(xiàn)可用性率較高的代理包有:

響應(yīng)速度

通過判斷平均響應(yīng)速度，我們可以發(fā)現(xiàn)響應(yīng)速度較快的代理包有:

穩(wěn)定

通過對平均響應(yīng)速度的方差分析，我們可以發(fā)現(xiàn)穩(wěn)定性高的代理包有:

價(jià)格

我們可以先看看每個(gè)套餐的價(jià)格:

根據(jù)每月價(jià)格，我們可以做如下統(tǒng)一比較:

安全

為了安全，這里主要考慮抽取API是否有訪問驗(yàn)證，使用代理時(shí)是否有訪問驗(yàn)證，也就是我們可以通過設(shè)置白名單來控制哪些可以使用。

其中只有芝麻HTTP代理和Sun HTTP代理默認(rèn)使用白名單限制，即使用的IP加到白名單才能使用，可以有效控制使用權(quán)。

另外，ABU Cloud Agent提供隧道代理認(rèn)證，只有用戶名和密碼配置成功才能正常使用。

因此，總結(jié)如下:

呼叫頻率

不同的接口有不同的API調(diào)用頻率限制，可以總結(jié)如下:

可以簡單總結(jié)如下:

特色功能

除了常規(guī)測試，我還選擇了包的一些特殊功能來解釋。這些特性中有些是缺點(diǎn)，有些是優(yōu)點(diǎn)，列舉如下:

綜合評價(jià)法

在了解了每個(gè)代理包的可用性、響應(yīng)速度、穩(wěn)定性、性價(jià)比和安全性后，最后做一個(gè)總結(jié):

所以綜合來說，推薦的有三個(gè):芝麻探、荀探、阿不云探。詳細(xì)的比較結(jié)果可以參考下表。

以上是各個(gè)代理的詳細(xì)對比和評價(jià)。希望這篇文章能對你選擇代理人有所幫助。

書籍推薦

如果你喜歡這篇文章，你肯定不想錯(cuò)過假期后3月份預(yù)售的爬行動(dòng)物書。默默告訴你，學(xué)習(xí)爬蟲，除了Python網(wǎng)絡(luò)數(shù)據(jù)收集，記得等下一本書。崔(網(wǎng)名京米)創(chuàng)作的《Python 3 Web Crawler Development實(shí)戰(zhàn)》三月下旬就可以預(yù)定了——現(xiàn)在就開始期待好書上架的模式吧！

預(yù)售時(shí)間:2018年3月

這本書介紹了如何使用Python 3開發(fā)網(wǎng)絡(luò)爬蟲。首先詳細(xì)介紹了環(huán)境配置的過程和爬蟲的基礎(chǔ)知識，然后討論了urllib和requests等請求庫，以及Beautiful Soup、XPath和pyquery等解析庫，以及文本和各種數(shù)據(jù)庫的存儲(chǔ)方式。然后，通過幾個(gè)案例，介紹了分析Ajax進(jìn)行數(shù)據(jù)抓取、Selenium和Splash進(jìn)行動(dòng)態(tài)網(wǎng)站抓取的過程，然后介紹了爬蟲的一些技巧，如代理抓取和維護(hù)動(dòng)態(tài)代理池、使用ADSL撥號代理、破解圖形、極坐標(biāo)測試、觸摸和網(wǎng)格等各種驗(yàn)證碼的方法、模擬登錄網(wǎng)站的抓取和維護(hù)Cookies池。

此外，結(jié)合移動(dòng)互聯(lián)網(wǎng)的特點(diǎn)，本書還討論了使用Charles、mitmdump、Appium等工具實(shí)現(xiàn)App爬行的方法，然后介紹了pyspider框架、Scrapy框架的使用以及分布式爬蟲的知識，最后介紹了Bloom Filter效率優(yōu)化、Docker和Scrapyd爬蟲部署、Gerapy爬蟲管理等知識。

崔擁有北京航空航天大學(xué)碩士學(xué)位空，北京美甲趣味網(wǎng)絡(luò)公司技術(shù)總監(jiān)，個(gè)人博客。爬蟲文章總瀏覽量已經(jīng)超過一百萬。

大杯咖啡推薦

在互聯(lián)網(wǎng)軟件開發(fā)工程師的分類中，爬蟲工程師非常重要。爬蟲工作往往是公司核心業(yè)務(wù)的基礎(chǔ)。只有捕捉到數(shù)據(jù)，才能進(jìn)行處理并最終顯示出來。數(shù)據(jù)的捕獲規(guī)模、穩(wěn)定性、實(shí)時(shí)性和準(zhǔn)確性非常重要。早期互聯(lián)網(wǎng)是完全開放互聯(lián)的，獲取數(shù)據(jù)非常困難。隨著各大公司對數(shù)據(jù)資產(chǎn)的日益重視，反爬蟲的水平也在不斷提高，各種新技術(shù)不斷給爬蟲軟件帶來新的課題。這本書的作者對爬行動(dòng)物的各個(gè)領(lǐng)域進(jìn)行了深入的研究。書中討論了捕捉Ajax數(shù)據(jù)、捕捉動(dòng)態(tài)渲染頁面、識別驗(yàn)證碼、模擬登錄等高級主題。同時(shí)，還根據(jù)移動(dòng)互聯(lián)網(wǎng)的特點(diǎn)討論了抓取App。更重要的是，它提供了大量的源代碼，可以幫助讀者更好地理解。強(qiáng)烈推薦技術(shù)愛好者閱讀。

——巴油科技總經(jīng)理梁斌

數(shù)據(jù)不僅是大數(shù)據(jù)分析的前提，也是各種人工智能應(yīng)用場景的基礎(chǔ)。得到數(shù)據(jù)的人贏天下，能爬遍天下的人不怕！一本在手，讓小白和老司機(jī)都能有所收獲！

——李，北京航空航天大學(xué)教授空，博士生導(dǎo)師

本書從爬蟲入門的基礎(chǔ)到分布式抓取，詳細(xì)介紹了爬蟲技術(shù)的要點(diǎn)，并針對不同的場景提出了相應(yīng)的解決方案。另外，這本書通過大量的例子幫助讀者更好的學(xué)習(xí)爬蟲技術(shù)，通俗易懂，充滿干貨，強(qiáng)烈推薦給大家！

——微軟蕭冰首席科學(xué)家宋瑞華

有人說中國互聯(lián)網(wǎng)的帶寬被各種爬蟲占用，可見網(wǎng)絡(luò)爬蟲的重要性和中國互聯(lián)網(wǎng)數(shù)據(jù)封閉壟斷的現(xiàn)狀。爬是一種能力，爬是為了避免爬。

——北京旅游信息科技有限公司總裁石水才

崔清才

悄悄找博主

隱形詞

攻擊編碼器

【看原文】查看作者博客