記得很早以前，那個(gè)時(shí)間新浪屏蔽百度蜘蛛的事件傳得很大，其實(shí)你主要是學(xué)會(huì)了ROBOTS.TXT的寫法，那就簡(jiǎn)單的了，兩下就認(rèn)出了這事的真假。所以說(shuō)學(xué)好技術(shù)，可以更好的知道真相。

首先，我們先來(lái)認(rèn)識(shí)我們親愛的蜘蛛們吧：

國(guó)內(nèi)的搜索引擎蜘蛛

百度蜘蛛：baiduspider

搜狗蜘蛛：sogou spider

有道蜘蛛：YodaoBot和OutfoxBot

搜搜蜘蛛： Sosospider

國(guó)外的搜索引擎蜘蛛

google蜘蛛： googlebot

yahoo蜘蛛：Yahoo！ Slurp

alexa蜘蛛：ia_archiver

bing蜘蛛（MSN）：msnbot

Robots.txt的幾個(gè)常用英文意思

• User-Agent： 適用下列規(guī)則的漫游器

• Allow： 充許被抓取的網(wǎng)頁(yè)

• Disallow： 要攔截的網(wǎng)頁(yè)

Robots.txt的兩個(gè)常用符號(hào)

“*”： 匹配0或多個(gè)任意字符（也有所有的意思）

“$”：匹配行結(jié)束符。

介紹得差不多了，下面來(lái)進(jìn)入正題，Robots.txt：

一、充許所有的蜘蛛抓�。�

User-agent： *

Disallow：

或者

User-agent： *

Allow： /

（*號(hào)可以理解為所以的意思）

二、禁止所有的robot抓取

User-agent： *

Disallow： /

三、禁止某一蜘蛛抓�。�

User-agent： 蜘蛛名（上面介紹得有）

Disallow： /

四、只充許某一蜘蛛抓�。�

User-agent： 蜘蛛名（上面介紹得有）

Disallow：

User-agent： *

Disallow： /

上半部分是禁止該蜘蛛抓取，下半部分是充許所有，總體意思就是禁止此蜘蛛，充許其它蜘蛛。

五、禁止蜘蛛抓取某些目錄

如禁止抓取admin和manage目錄

User-agent： *

Disallow： /admin/

Disallow： /manage/

六、禁止蜘蛛特定后綴文件，這個(gè)用“*”號(hào)

如禁止抓取.htm的文件

User-agent： *

Disallow： *.htm（*號(hào)后面然后是點(diǎn)文件名，如.asp，.php）

七、僅充許抓取特定后綴文件，這個(gè)用“$”號(hào)

如僅充許.htm的文件

User-agent： *

Allow： .htm$

Disallow： /

（圖片也可以參考第六條和第七條這個(gè)樣子）

八、禁止抓取動(dòng)態(tài)網(wǎng)頁(yè)

User-agent： *

Disallow： /*？*

這個(gè)在論壇很有用，一般偽靜態(tài)后，就不需要搜索引擎再收錄其動(dòng)態(tài)地址了。做論壇的朋友們注意了。

九、聲明網(wǎng)站地圖sitemap

這個(gè)告訴搜索引擎你的sitemap在哪

Sitemap： http://你的域名/sitemap.xml

做完這些我們?nèi)绾螜z查我們的robots.txt這個(gè)文件的有效性呢？推薦使用 Google管理員工具，登錄后訪問“工具 ->分析 robots.txt”，檢查文件有效性。

原創(chuàng)文章請(qǐng)注明轉(zhuǎn)載自：武漢seo-sem說(shuō)

本文地址：http://www.semsay.com/seo/37.html

標(biāo)簽： 蜘蛛抓取 搜索引擎蜘蛛 搜索SEO 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。