Robots文件是網(wǎng)站和蜘蛛程序之間的“君子協(xié)議”——robots文件不僅僅可以節(jié)省網(wǎng)站的資源，還可以幫助蜘蛛更加有效的抓取網(wǎng)，從而提高排名。

1：只允許谷歌bot

如果要攔截除谷歌bot之外的所有爬蟲：

User-agent:*

disallow:/

Uer-agent:允許的蜘蛛名

Disallow:

2：“/folder/”和“/folder”的區(qū)別

舉個例子：

User-agent:*

Disallow:/folder/

Disallow:/folder

“Disallow:folder/”表示攔截的是一個目錄，該目錄文件下的所有文件不允許被抓取，但是允許抓取folder.hlml。

“Disallow:/folder”：對/folder/下的所有文件和folder.html都不能被抓取。

3：“*”匹配任意字符

User-agent:*

表示屏蔽所有的蜘蛛。當(dāng)我們做了偽靜態(tài)處理之后，會同時又動態(tài)網(wǎng)頁和靜態(tài)網(wǎng)頁，網(wǎng)頁內(nèi)容一模一樣，視為鏡態(tài)頁面，所以我們要屏蔽掉動態(tài)的網(wǎng)頁，可以用*號來屏蔽動態(tài)的網(wǎng)頁

User-agent:*

Disallow:/?*?/

4：$匹配網(wǎng)址結(jié)束

如果要攔截以某個字符串結(jié)束的網(wǎng)址，就可以使用$，例如，要攔截以.asp結(jié)束的網(wǎng)址：

User-agent:*

Disallow:/*.asp$

也可以打開比較優(yōu)秀的網(wǎng)站，看他們的robots文件是如何書寫的，然后根據(jù)自己的需求進行相應(yīng)的修改。Robots文件可以讓蜘蛛把更多的時間花在要抓取的內(nèi)容上，所以優(yōu)化robots文件是很有必要的。

本文來自東陽高復(fù)：http://mygaofu.com，轉(zhuǎn)載請注明鏈接

標簽： seo robots文件設(shè)置 搜索引擎蜘蛛 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。