首先,Baiduspider會根據(jù)網(wǎng)站服務器壓力自動進行抓取頻次調(diào)整。其次,如果Baiduspider的抓取影響了網(wǎng)站穩(wěn)定性,站長可以通過此工具調(diào)節(jié)Baiduspider每天抓取您網(wǎng)站的頻次上限。
強調(diào)1:調(diào)整抓取頻次上限不等于調(diào)高抓取頻次。
強調(diào)2:建議您慎重調(diào)節(jié)抓取頻次上限值,如果抓取頻次過小則會影響B(tài)aiduspider對網(wǎng)站的收錄。
閱讀本文的人還可以閱讀: