今天遇到一個自稱做了3年seo的人來公司面試，態(tài)度十分傲慢。在和他的交談當(dāng)中，提到了一個話題：robots.txt到底該不該做。在他看來 robots.txt用處不大，他以前優(yōu)化的電商網(wǎng)站都沒寫，而我想說的是：robots.txt文件是必須的。我不知道為什么做了3年seo的人會說robots.txt沒什么大用處，還說沒有其他外部鏈接蜘蛛就不會抓取到這些頁面，沒必要用robots.txt屏蔽。要是真的這樣，為什么蜘蛛到了一個網(wǎng)站會首先看這個網(wǎng)站的robots.txt文件？robots.txt文件沒有任何外部鏈接，仍能被蜘蛛爬取到？并且網(wǎng)站的源代碼里面肯定會有 css、js、網(wǎng)站后臺、圖片等鏈接那么這些文件都不用屏蔽？

OK，如果不寫robots.txt也能做好seo，我承認，的確是，但是robots.txt做為seo入門的基礎(chǔ)知識，是我們每個seoer應(yīng)該注重的。seo做的就是細節(jié)，如果這個細節(jié)你不注意、那個細節(jié)也不注意，不注意的細節(jié)多了，你怎么能做好seo？

無論是百度也好、谷歌也好，他們的seo手冊里都寫到：

搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時，會首先會 檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt，在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

robots.txt的使用其實是seo的高級運用，在一些行業(yè)網(wǎng)站上尤為明顯，行業(yè)網(wǎng)站頁面過多，無用的頁面也有很多，所以必須使用robots.txt屏蔽無用頁面，提升蜘蛛的爬取效率，這是seo的高級策略。

所以，robots.txt文件確實是有用的，并不像有些人說的那么不重要，有些人雖然做了幾年的seo，但是現(xiàn)在還想用以前的思路來做優(yōu)化，顯然 是不可取的，搜索引擎的技術(shù)在飛速提升，zac說過，谷歌在幾年前就能抓取js里面的鏈接了，并且能傳遞權(quán)重，你還認為js不能被搜索引擎識別嗎？

搜索引擎的技術(shù)正在一步一步的完善，如果我們seo技術(shù)不能與時俱進，那就只能被淘汰！

來自：鄭州朝陽頂尖seo培訓(xùn)學(xué)校：http://www.zhaoyangedu.cn/wlyx/News_Show.asp?ID=203

標簽： seo robots.txt 搜索引擎蜘蛛 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。