robots.txt概念和10條注意事項(xiàng)

100345次閱讀

robots.txt概念

如果我們網(wǎng)站內(nèi)有某些特殊的文件不讓搜索引擎收錄,那怎么辦?

答案是:使用一個(gè)叫做robots.txt的文件。

robots.txt文件告訴搜索引擎本網(wǎng)站哪些文件是允許搜索引擎蜘蛛抓取,哪些不允許抓取。

搜索引擎蜘蛛訪問(wèn)網(wǎng)站任何文件之前,需先訪問(wèn)robots.txt文件,然后抓取robots.txt文件允許的路徑,跳過(guò)其禁止的路徑。

總結(jié):robots.txt是一個(gè)簡(jiǎn)單的.txt文件,用以告訴搜索引擎哪些網(wǎng)頁(yè)可以收錄,哪些不允許收錄。


關(guān)于robots.txt文件的10條注意事項(xiàng):

1、如果未創(chuàng)建robots.txt文件,則代表默認(rèn)網(wǎng)站所有文件向所有搜索引擎開(kāi)放爬取。

2、必須命名為:robots.txt,都是小寫(xiě),robot后面加"s"。

3、robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下。

     通過(guò)如http://m.03365n.com/robots.txt 可以成功訪問(wèn)到,則說(shuō)明本站的放置正確。

4、一般情況下,robots.txt里只寫(xiě)著兩個(gè)函數(shù):User-agent和 Disallow。

5、空格換行等不能弄錯(cuò),可復(fù)制這個(gè)頁(yè)面并修改為自己的。點(diǎn)擊

6、有幾個(gè)禁止,就得有幾個(gè)Disallow函數(shù),并分行描述。

7、至少要有一個(gè)Disallow函數(shù),如果都允許收錄,則寫(xiě): Disallow: 

    如果都不允許收錄,則寫(xiě):Disallow: /  (注:只是差一個(gè)斜桿)。

8、允許有多個(gè)User-agent,如果對(duì)所有爬取蜘蛛生效,則用“*”星號(hào)表示。

9、robtos.txt文件內(nèi)可以放上Sitemap文件地址,方便告訴搜索引擎Sitemap文件地址。

10、網(wǎng)站運(yùn)營(yíng)過(guò)程中,可以根據(jù)情況對(duì)robots.txt文件進(jìn)行更新,屏蔽一些不要搜索引擎抓取的文件地址。


舉例兩個(gè)常見(jiàn)屏蔽規(guī)則:

User-agent: *  星號(hào)說(shuō)明允許所有搜索引擎收錄

Disallow: /search.html   說(shuō)明 http://m.03365n.com/search.html 這個(gè)頁(yè)面禁止搜索引擎抓取。

Disallow: /index.php?   說(shuō)明類(lèi)似這樣的頁(yè)面http://m.03365n.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止搜索引擎抓取。


擴(kuò)展閱讀:

robots.txt文件用法規(guī)范百度官方資料截圖版

本文由夫唯SEO特訓(xùn)營(yíng)編輯整理。

搜外專注SEO培訓(xùn)和SEO周邊Saas服務(wù)解決方案,10年來(lái)超過(guò)五萬(wàn)學(xué)員在此獲得技術(shù)提升和人脈圈子。

SEO課程包含移動(dòng)搜索、零基礎(chǔ)建站、群站SEO思維、搜外6系統(tǒng)、SEM入門(mén)等。

192期A班報(bào)名時(shí)間7月1日-7月15日,請(qǐng)?zhí)砑诱猩头∧⑿牛簊eowhy2021。 微信掃碼添加客服人員

我們的目標(biāo)是:讓非技術(shù)人員輕松學(xué)會(huì)互聯(lián)網(wǎng)技術(shù)。

  • 搜外會(huì)員SEO交流群(免費(fèi))

    微信掃碼添加客服人員
  • 小程序運(yùn)營(yíng)交流群(免費(fèi))

    微信掃碼添加客服人員
  • 搜外會(huì)員SEM競(jìng)價(jià)交流群(免費(fèi))

    微信掃碼添加客服人員
  • 夫唯學(xué)員SEO交流群(VIP)

    微信掃碼添加客服人員

掃碼獲取資源

微信掃碼添加客服人員
  • SEO技術(shù)實(shí)戰(zhàn)微信群

    微信掃碼添加客服人員
  • 大站流量總監(jiān)群(審核身份)

    微信掃碼添加客服人員
  • Google獨(dú)立站英文SEO群

    微信掃碼添加客服人員
  • SEO團(tuán)隊(duì)KPI管理表格

    微信掃碼添加客服人員
  • 工業(yè)品網(wǎng)站友情鏈接群

    微信掃碼添加客服人員
  • 本地生活服務(wù)業(yè)友鏈群

    微信掃碼添加客服人員

跟夫唯老師系統(tǒng)學(xué)習(xí)群站SEO
成為互聯(lián)網(wǎng)運(yùn)營(yíng)推廣大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入門(mén)、新聞源推廣……
Processed in 0.136638 Second , 40 querys.