我robots這樣寫是不是就能避免蜘蛛爬這個“index.htm”這個首頁？
User-agent: * Disallow: /index.htm
我的index.htm是現(xiàn)在默認的首頁，想屏蔽蜘蛛抓取。讓蜘蛛爬另一個文檔，主要是規(guī)避備案巡查
我的網(wǎng)站和我備案的不一樣，服務器那邊要求改，我就整了個htm文檔來規(guī)避下。
寫法沒有問題。但正常的不建議屏蔽首頁地址，，“index.htm”這個后綴地址是需要處理掉的。
當然，如果只是應付備案短暫需求，，就只能這樣處理。
后續(xù)備案處理后，盡快處理后綴“index.htm”。同時robots修改回去。
