robots.txt 文件必須放在網(wǎng)站的根目錄。
放在子目錄的 Robots.txt 文件搜索引擎不能爬取到,所以不會(huì)起任何作用。
如:
http://m.03365n.com/robots.txt 是有效的。
http://m.03365n.com/a/robots.txt 是無(wú)效的。
以下3種情況需要注意:
1、如果手機(jī)網(wǎng)站采用的是m.的二級(jí)域名,要給手機(jī)網(wǎng)站設(shè)置robots.txt的話,robots.txt要放在m. 這個(gè)二級(jí)域名的根目錄下,而不是www的根目錄。
2、給網(wǎng)站添加了一個(gè)站內(nèi)站,如果要屏蔽某鏈接,是在www根目錄下的robots里屏蔽,而不是給站內(nèi)站創(chuàng)建獨(dú)立的robtos.txt文件。
3、網(wǎng)站有多個(gè)二級(jí)域名的話,應(yīng)該每個(gè)二級(jí)域名設(shè)置一個(gè)robots.txt。搜外問(wèn)答的例子,點(diǎn)擊查看。
擴(kuò)展閱讀: