前一段在SEO總結(jié)：robots細(xì)節(jié)優(yōu)化都包括哪些地方（一）和大家談了robots細(xì)節(jié)優(yōu)化的幾個方面，不僅僅讓更多站長注意到了以前從來注意過的問題，也讓我自己的SEO水平得到了進(jìn)一步的提高，畢竟SEO水平都是靠一點一滴累積而來。上篇文章分別與大家介紹了六個方面，分別是user-agent的數(shù)量問題、spider蜘蛛大小寫問題、allow與disallow順序、反斜杠、#表示注釋、不要出現(xiàn)空格等，今天接著上篇文章把剩下的幾點分享完。

文件目錄大小寫問題

robots文件名到底對大小寫是否區(qū)分，相信很多站長也沒有一個標(biāo)準(zhǔn)的答案。雖然res標(biāo)準(zhǔn)忽略大小寫，但對于目錄與文件名而言，卻是大小寫敏感的。“user-agent”和“Disallow”指令本身用大小寫都可以，但對于其聲明的目錄或文件名卻一定要注意大小寫的問題。因為如果屏蔽了大寫，蜘蛛有可能會抓小寫，對網(wǎng)站的收錄造成影響，例如：

Disallow: /abc.htm

會攔截http://www.abc.com/abc.htm

卻允許http://www.abc.com/Abc.htm

所以在一些IIS服務(wù)器可能出現(xiàn)大小寫目錄的問題時，可以通過此方法得到圓滿解決。

包含同類meta問題

一個正常的頁面如果包含了多個同類型meta標(biāo)簽，搜索引擎蜘蛛會累加meta的內(nèi)容進(jìn)行取值。舉個簡單的例子，對下面兩條語句來說：

搜索引擎將會把兩者合并，最終理解成：

取最強參數(shù)的問題

有時候meta標(biāo)簽里邊的值出現(xiàn)沖突，那么對于搜索引擎來說就會采納限制性較強的參數(shù)為最終值，很多時候這個問題可以避免，但是有時候不小心寫多了meta標(biāo)簽，特別對于一些大網(wǎng)站，更要注意。舉個例子，例如下邊的兩個標(biāo)簽：

那么搜索引擎最終會會選擇noindex的取值，因為它的限制性要比第二個高，這個類似優(yōu)先級問題。

即有robots又有meta問題

如果一個網(wǎng)站里邊既存在robots.txt文件，同時頁面頭部又寫了meta標(biāo)簽，而當(dāng)二者存在沖突，那么對于Googel來說會服從限制較嚴(yán)的規(guī)則，即在robots.txt中阻止了對一個頁面的檢索，那么Google就不會爬到這個頁面，所以也就不會讀到這個頁面上的meta標(biāo)簽。而如果robots.txt里允許檢索，meta中禁止，那么Goolge會到達(dá)這個頁面，并在讀到meta后停止爬行。

好了，本文就到這里吧，有一些是自己實實在在碰到的問題，而另外一些則是查閱網(wǎng)上的資料進(jìn)行的總結(jié)，總之，能把robots里邊的小細(xì)節(jié)和大家總結(jié)并分享完，感覺很有意義。SEO雖然是個漫長的過程，但是認(rèn)真去體會里邊涉及到的東西，同樣也是一種很高的收獲。

本文來自深圳網(wǎng)站建設(shè)，網(wǎng)址：http://www.zijiren.net，轉(zhuǎn)載請保留鏈接， 謝謝！

標(biāo)簽： robots文件 SEO優(yōu)化 spider蜘蛛 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。