Google雖然已經(jīng)是抓取頁面最多的搜索引擎，但還是不滿足，因?yàn)橛泻芏嗑W(wǎng)頁和信息是很難被發(fā)現(xiàn)和抓取的。這也就是為什么做網(wǎng)站時(shí)一定要注意搜索引擎友好。

現(xiàn)在Google開始提供提交表單（form）發(fā)現(xiàn)其后的網(wǎng)頁。本想寫個(gè)詳細(xì)說明，剛好看到幻滅已經(jīng)寫了，就直接引用主要內(nèi)容如下。

之前我們已經(jīng)知道Googlebot除了能抓取文本、視頻、音頻、Flash等類型的內(nèi)容外，它還可以通過JS代碼抓取鏈接。并且在未來，Googlebot還有望直接識別圖片及視頻里的文字。為了進(jìn)一步抓取互聯(lián)網(wǎng)的內(nèi)容，Google宣布Googlebot已可通過提交表格抓取更多內(nèi)容。

據(jù)Google所述，當(dāng)前Googlebot正對一小部分高質(zhì)量網(wǎng)站進(jìn)行表格提交的試驗(yàn)。當(dāng)Googlebot發(fā)現(xiàn)這些網(wǎng)站上有HTML表格時(shí)（即檢測到時(shí)），它就會(huì)自動(dòng)從網(wǎng)站上選擇一些詞語輸入表格的文本框里，然后再選擇不同的按鈕、勾選項(xiàng)及驗(yàn)證項(xiàng)，再提交表格。提交表格后一旦 Googlebot認(rèn)為出現(xiàn)的新內(nèi)容是合法并且是有趣及獨(dú)特的，它就可能會(huì)把內(nèi)容抓取進(jìn)Google的搜索結(jié)果索引數(shù)據(jù)庫里。這意味著Googlebot 現(xiàn)在已經(jīng)懂得通過提交表格而獲得新內(nèi)容。

同時(shí)Google也強(qiáng)調(diào)，如果網(wǎng)站的robots.txt文件里禁止了對表格進(jìn)行了隱藏，不希望表格提交后所產(chǎn)生的鏈接被抓取，那Googlebot 是不會(huì)抓取的。此外，當(dāng)前Googlebot只提交GET類型的表格。比如當(dāng)表格需要輸入用戶個(gè)人信息比如密碼、用戶名、聯(lián)系人等，Googlebot是 會(huì)自動(dòng)略過這些表格的。

這種表格抓取當(dāng)前只是一個(gè)小范圍的試驗(yàn)，Google表示不會(huì)對網(wǎng)站造成影響。既不會(huì)對網(wǎng)站的PR值造成影響，也不會(huì)對網(wǎng)站的正常抓取、排名等造成影響。

Matt Cutts也寫了個(gè)帖子舉例說明這么做的好處。有很多網(wǎng)站首頁只是以表單方式列出公司下屬的各地區(qū)分站，沒有以鏈接形式列出各分站。這種網(wǎng)站以前是不能被深度收錄的，因?yàn)镚oogle不提交表單，就發(fā)現(xiàn)不了隱藏在表單后面的URL。

這當(dāng)然給一些網(wǎng)站的收錄創(chuàng)造了機(jī)會(huì)，是否也會(huì)對某些公司網(wǎng)站帶來一定的安全風(fēng)險(xiǎn)？網(wǎng)站某部分不想被收錄的話，趕緊用robots.txt文件禁止吧。

標(biāo)簽： Google 提交表單 抓取新頁面 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。