這篇文章主要講解搜索引擎的蜘蛛爬蟲(chóng)的工作原理，包括它的四種抓取策略。

首先呢，搜索引擎的蜘蛛抓取網(wǎng)頁(yè)是有著一定的規(guī)律，不會(huì)去隨便抓取網(wǎng)頁(yè)，并且呢，蜘蛛是通過(guò)超連接來(lái)抓取網(wǎng)頁(yè)的，我們剛剛說(shuō)了，搜索引擎有四種抓取網(wǎng)頁(yè)的策略，下邊我們一一講解。

深度優(yōu)先

所謂深度優(yōu)先，就是蜘蛛在一個(gè)頁(yè)面中發(fā)現(xiàn)第一個(gè)超鏈接，然后爬取這個(gè)頁(yè)面，當(dāng)爬到第二個(gè)頁(yè)面后，在第二個(gè)頁(yè)面發(fā)現(xiàn)的第一個(gè)超鏈接，然后再順著往下爬，如下圖：

深度優(yōu)先，導(dǎo)致蜘蛛抓取的網(wǎng)頁(yè)的質(zhì)量，越來(lái)越低，并且在傳遞網(wǎng)站權(quán)重上，也有著根本的問(wèn)題。

寬度優(yōu)先

在深度優(yōu)先上，搜索引擎有著根本的問(wèn)題，那么在之后，搜索引擎又推出了蜘蛛抓取的第二個(gè)策略，也就是寬度優(yōu)先，寬度優(yōu)先指的是，蜘蛛會(huì)先把這個(gè)頁(yè)面所有的鏈接都爬一次，然后在順著這些鏈接往下爬，如下圖：

但是寬度優(yōu)先也存在著問(wèn)題，那就是蜘蛛抓取的效率和質(zhì)量問(wèn)題。

先寬后深 – 權(quán)重優(yōu)先

現(xiàn)在搜索引擎是寬度和深度優(yōu)先的結(jié)合，蜘蛛在抓取一個(gè)網(wǎng)頁(yè)的時(shí)候，會(huì)先把這個(gè)頁(yè)面所有的鏈接都抓取一次，然后再根據(jù)這些ULR的權(quán)重來(lái)判定，那個(gè)URL的權(quán)重高，那么就采用深度優(yōu)先，那個(gè)URL權(quán)重低，就采用寬度優(yōu)先或者不抓取。

重訪抓取策略

重訪抓取策略，是最后的一個(gè)，搜索引擎蜘蛛在抓取完這個(gè)網(wǎng)頁(yè)之后，然后根據(jù)這個(gè)頁(yè)面的權(quán)重、包括它的更新頻率、更新質(zhì)量、外鏈的數(shù)量等等來(lái)判定，那么對(duì)于權(quán)重高的頁(yè)面，蜘蛛會(huì)在相隔較短的時(shí)間段在回來(lái)重新抓取，比如新浪網(wǎng)，權(quán)重很高，搜索引擎蜘蛛都是按照秒來(lái)重新抓取的。而對(duì)于一些權(quán)重較低的頁(yè)面，比如長(zhǎng)期不更新的頁(yè)面，那么蜘蛛會(huì)隔好長(zhǎng)時(shí)間在來(lái)抓取一次，比如我們常常搜索的百度大更新，蜘蛛就是對(duì)于一些網(wǎng)頁(yè)權(quán)重較低的頁(yè)面進(jìn)行一次全部的抓取，一般情況，百度大更新，一個(gè)月一次。

本文來(lái)源 http://www.shizhanqiang.com/ 轉(zhuǎn)載留下版權(quán)

標(biāo)簽： seo 搜索引擎蜘蛛 搜索引擎算法 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。