教新手如何創(chuàng)建Robots.txt文件，在高手面前班門弄斧，罪過
2017-11-30 來源：
如何創(chuàng)建 robots.txt 文件？
您可以在任何文本編輯器中創(chuàng)建此文件。該文件應(yīng)為 ASCII 編碼的文本文件，而非 HTML 文件。文件名應(yīng)使用小寫字母。
最簡單的 robots.txt 文件使用兩條規(guī)則：
(1)User-Agent: 適用下列規(guī)則的漫游器
(2)Disallow: 要攔截的網(wǎng)頁
這兩行被視為文件中的一個(gè)條目。您可根據(jù)需要包含任意多個(gè)條目。您可在一個(gè)條目中包含多個(gè) Disallow 行和多個(gè)
User-Agent。
應(yīng)在 User-Agent 行中列出什么內(nèi)容？
user-agent 是特定的搜索引擎漫游器。網(wǎng)絡(luò)漫游器數(shù)據(jù)庫列出了許多常用漫游器。您可設(shè)置應(yīng)用于特定漫游器的條目
（通過列示名稱）或設(shè)置為應(yīng)用于所有漫游器（通過列示星號(hào)）。應(yīng)用于所有漫游器的條目應(yīng)與下列條目類似：
User-Agent:*
Google 使用多種不同漫游器（用戶代理）。用于網(wǎng)絡(luò)搜索的漫游器是 Googlebot。Googlebot-Mobile 和 Googlebot-
Image 等其他漫游器遵循您為 Googlebot 設(shè)置的規(guī)則，您還可為這些特定漫游器設(shè)置附加規(guī)則。
應(yīng)在 Disallow 行中列出什么內(nèi)容？
Disallow 行列出了您要攔截的網(wǎng)頁。您可列出具體網(wǎng)址或網(wǎng)址模式。條目應(yīng)以正斜杠開頭 (/) 開頭。
要攔截整個(gè)網(wǎng)站，請(qǐng)使用正斜扛。
Disallow:/
要攔截目錄及其中的所有內(nèi)容，請(qǐng)?jiān)谀夸浢筇砑诱笨浮?/P>
Disallow:/private_directory/
要攔截網(wǎng)頁，請(qǐng)列出該網(wǎng)頁。
Disallow:/private_file.html
網(wǎng)址區(qū)分大小寫。
標(biāo)簽： Google 數(shù)據(jù)庫 搜索 搜索引擎 網(wǎng)絡(luò) 網(wǎng)站 用戶
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。
