摘要：剛接手不久一個B2B電子商務(wù)平臺、由于產(chǎn)品詳情頁有兩種不同形式的URL：有32位、也有16位，所以需要對URL進行統(tǒng)一規(guī)范；

那么是采用32位的：http://www.csc86.com/product/5475beae-8324-4d52-911d-d53b78926e1a.html標準(長地址）;

還是采用16位：http://www.csc86.com/product/79377.html（短地址）標準、當時考慮原則是兩種不同形式的URL百度索引數(shù)據(jù)及兩種不同形式的URL收錄速度、也就是說哪URL百度索引數(shù)據(jù)多且URL收錄速度快那就采用哪種URL標準;

所以在百度站長工具自定義規(guī)則，分別查看兩種特征頁面集合的索引量數(shù)據(jù)

16位(短地址）的URL百度索引量數(shù)據(jù)

32位（長地址）的URL百度索引量數(shù)據(jù)

說明：

1、32位（長地址）的URL數(shù)據(jù)存量是16位（短地址）數(shù)據(jù)存量大概4倍

2、05-18當天16位（短地址）的URL索引量數(shù)據(jù)增加83574,而32位（長地址）URL索引量數(shù)據(jù)則增加2090

3、針對URL索引量增加沒有做任何人工干預

也就是說16位（短地址）URL百度索引數(shù)據(jù)多于32位URL且短URL收錄速度快，所以決定采用16位（短地址）做為產(chǎn)品詳情URL規(guī)范；

問題：05-19號針對robots文件屏蔽32位URL搜索引擎相關(guān)抓取規(guī)則

robots文件如下：

但06-07號32位URL索引量還是出現(xiàn)大幅增長情況

當然看到這個數(shù)據(jù)第一反應(yīng)就是robots規(guī)則不對，所以對robots進行檢查、但發(fā)現(xiàn)robots沒有問題、屏蔽規(guī)則也檢測正常；

在06-09號對此問題進行反饋、得到反饋的結(jié)果是百度這邊處理時間較長的, 所以百度處理此類問題的反應(yīng)超級慢，所以建議在處理此類問題時最好使用百度站長具檢測robots 并進行強制更新。

未經(jīng)裕騰智工作室授權(quán)許可任何人不得復制、轉(zhuǎn)載、或以其他任何方式使用裕騰智工作室的內(nèi)容。裕騰智工作室保留追責權(quán)利。文章出處：裕騰智工作室  http://www.ying88.net/biji_share/57.html

標簽： Robots文件 robots屏蔽 網(wǎng)站收錄 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。