作為搜索引擎優(yōu)化人員，有必要了解搜索引擎的運行原理，包括關(guān)于頁面質(zhì)量的白皮書和搜索引擎優(yōu)化指南。今天，我們將重點講解搜索引擎的整個工作原理和流程分析。

搜索引擎的主要工作流程包括:抓取、存儲、頁面分析、索引、檢索等。也就是常說的抓取、過濾、記錄、排序四個過程。以下詳細(xì)解釋了每個過程及其影響

第一，搜索引擎抓取

蜘蛛爬行系統(tǒng)是搜索引擎數(shù)據(jù)源的重要保證。如果把web理解為一個有向圖，那么Spider的工作過程可以看作是遍歷這個有向圖。從一些重要的種子URL開始，通過頁面上的超鏈接關(guān)系，不斷發(fā)現(xiàn)新的URL并進(jìn)行抓取，從而抓取盡可能多的有價值的網(wǎng)頁。

搜索引擎工作原理解讀

影響抓取的因素

1.抓住友善

互聯(lián)網(wǎng)資源在數(shù)量級上是巨大的，這就要求捕獲系統(tǒng)在有限的硬件和帶寬資源下，盡可能高效地利用帶寬，捕獲盡可能多的有價值的資源。

2.使用抓取返回代碼來指示

簡單介紹一下百度支持的幾個返回碼:

1)最常見的404代表“NOT FOUND”，表示網(wǎng)頁已經(jīng)過期，通常會在庫中刪除。同時，如果spider在短期內(nèi)再次找到這個url，它將不會爬行；

2)503代表“服務(wù)不可用”，表示網(wǎng)頁暫時無法訪問。通常網(wǎng)站暫時關(guān)閉，帶寬有限。

3)403代表“禁止”，認(rèn)為網(wǎng)頁目前禁止訪問。如果是新的url，spider暫時不會抓取，短時間內(nèi)也會訪問幾次；如果是包含的網(wǎng)址，不會直接刪除，短時間內(nèi)會被訪問幾次。網(wǎng)頁正常訪問的，正常抓??；如果訪問仍然被禁止，該網(wǎng)址也將被視為無效鏈接，并從庫中刪除。

4)301代表“永久移動”，這意味著網(wǎng)頁被重定向到一個新的網(wǎng)址。如遇網(wǎng)站遷移、域名變更、網(wǎng)站改版，建議使用站長平臺的301返回碼和網(wǎng)站改版工具，減少改版造成的網(wǎng)站流量損失。

3.優(yōu)先分配

由于互聯(lián)網(wǎng)資源規(guī)模的巨大而快速的變化，搜索引擎幾乎不可能捕捉到所有的資源并合理更新以保持一致性。因此，爬行系統(tǒng)需要設(shè)計一套合理的爬行優(yōu)先級分配策略。主要包括:深度優(yōu)先遍歷策略、寬度優(yōu)先遍歷策略、pr優(yōu)先策略、反鏈策略、社會共享引導(dǎo)策略等

4.拿反作弊來說

蜘蛛在爬行過程中經(jīng)常會遇到所謂的黑洞或者大量的低質(zhì)量頁面，這就需要一個完善的防作弊系統(tǒng)來進(jìn)行爬行

百度搜索引擎工作原理

打破網(wǎng)站抓取頻率的原理

1、網(wǎng)站更新頻率:更新更快，更新更慢，直接影響B(tài)aiduspider的訪問頻率

2.網(wǎng)站更新質(zhì)量:更新頻率增加，只吸引了Baiduspider的注意力。Baiduspider對質(zhì)量要求嚴(yán)格。如果百度蜘蛛每天更新的大量內(nèi)容被判定為低質(zhì)量頁面，那還是沒有意義的。

3.連接性:網(wǎng)站要安全穩(wěn)定，對Baiduspider保持開放。讓拜杜斯皮德閉嘴不是好事。

4、站點評價:百度搜索引擎會對每個站點有一個評價，這個評價會根據(jù)站點情況而變化，這是百度搜索引擎對站點的一個基本評分

其次，搜索引擎過濾垃圾內(nèi)容

1、重復(fù)網(wǎng)頁內(nèi)容:網(wǎng)上已有的內(nèi)容，百度當(dāng)然沒必要收錄。

2.主內(nèi)容簡短的網(wǎng)頁空

1)有些內(nèi)容使用了百度蜘蛛無法解析的技術(shù)，比如JS、AJAX。雖然用戶在訪問時可以看到豐富的內(nèi)容，但仍然會被搜索引擎拋棄

2)加載速度太慢的網(wǎng)頁也可能被視為空短頁面。注意廣告的加載時間包含在網(wǎng)頁的整體加載時間中。

3)很多主體不突出的網(wǎng)頁即使爬回去也會被丟棄。

3.一些作弊網(wǎng)站

4.比如各種過濾器，可能包括過濾掉死鏈、重復(fù)數(shù)據(jù)、色情、垃圾結(jié)果以及你所知道的；

搜索引擎蜘蛛的工作原理

第三，如何更好地被收錄和索引

哪些網(wǎng)頁可以進(jìn)入優(yōu)質(zhì)索引數(shù)據(jù)庫？其實一般原則是一個:對用戶的價值。包括但不限于:

1、時效性和有價值的頁面:這里，時效性和價值并列，缺一不可。有些網(wǎng)站為了制作時間敏感的內(nèi)容頁面，做了大量的收集工作，產(chǎn)生了一堆毫無價值的頁面，百度不想看到。

2.高質(zhì)量內(nèi)容的專題頁面:專題頁面的內(nèi)容可能不完全是原創(chuàng)的，即可以很好的整合各方內(nèi)容，或者添加一些新鮮的內(nèi)容，比如意見和評論，給用戶更豐富、更全面的內(nèi)容。

3.高價值原創(chuàng)內(nèi)容頁面:百度將原創(chuàng)定義為花費一定成本，積累大量經(jīng)驗后形成的文章。再也不要問我們偽原創(chuàng)是不是原創(chuàng)了。

4.重要個人頁面:這里只是一個例子。科比在新浪微博開了賬戶。即使他不經(jīng)常更新，但它對百度來說仍然是一個非常重要的頁面。

百度搜索引擎蜘蛛

第四，百度搜索引擎排名因素

1.相關(guān)性:網(wǎng)頁內(nèi)容與用戶檢索要求的匹配程度，如網(wǎng)頁中包含的用戶檢查的關(guān)鍵詞數(shù)量以及這些關(guān)鍵詞出現(xiàn)的位置；外部網(wǎng)頁用來指向頁面的錨文本等。

2.權(quán)威:用戶喜歡權(quán)威網(wǎng)站提供的內(nèi)容，相應(yīng)的，百度搜索引擎也相信高質(zhì)量權(quán)威網(wǎng)站提供的內(nèi)容。

3、時效性:時效性結(jié)果是指新的網(wǎng)頁，網(wǎng)頁承載了新鮮的內(nèi)容。目前，時效性結(jié)果在搜索引擎中變得越來越重要。

4.重要性:匹配網(wǎng)頁內(nèi)容與用戶檢查要求的重要性或受歡迎程度

5.富足:富足看似簡單，但卻是一個涵蓋廣泛的命題?？梢岳斫鉃榫W(wǎng)頁內(nèi)容豐富，能夠充分滿足用戶需求；既能滿足用戶的單一需求，又能滿足用戶的擴展需求。

6.人氣:網(wǎng)頁受歡迎與否。

7.最終排名，將最符合用戶需求的結(jié)果排在最前面，其中可能包括網(wǎng)站整體評價、網(wǎng)頁質(zhì)量、內(nèi)容質(zhì)量、資源質(zhì)量、匹配度、分散度、時效性等有用信息。

總結(jié):這整個過程就是搜索引擎抓取排名結(jié)果頁面的計算過程。當(dāng)然，影響排名的因素很多。這是一種網(wǎng)頁分析技術(shù)，但是網(wǎng)站的整體評分是由每個網(wǎng)頁組成的，所以需要優(yōu)化每個網(wǎng)頁的細(xì)節(jié)，做好用戶體驗，提高網(wǎng)站排名。

原地址:http://www . ZZ gqi . com/a/xinhwenzhong Xin/xingiexwen/1233 . html，轉(zhuǎn)載請注明出處