用Robots協(xié)議引導蜘蛛對頁面進行抓取
2025-06-05? ? ? ? Robots協(xié)議是放在根目錄下的一個協(xié)議，也是蜘蛛爬行網(wǎng)站的時候需要訪問的第一個文件，通過解讀Robots文件的策略，蜘蛛可以知道哪些頁面可以爬行，哪些不可以爬行。一般來說，網(wǎng)站都是可以開發(fā)給蜘蛛來抓取的，某些不允許抓取的頁面或者頻道，只需要在Robots里面設定Disallow (禁止抓取的命令)就可以。但是在實際運營中，可能面臨更復雜的情況，比如整站已經(jīng)在HTTPS下，但是部分頁面需要蜘蛛爬行，怎么辦?有以下幾個解決辦法。
? ? ? ??(1)復制一份到HTTP下。
? ? ? ??(2)使用user-agent判斷來訪者，將蜘蛛引導到HTTP頁面。
? ? ? ??關于Robots文件，詳細說明如下。
? ? ? ??(1)特定頁面已經(jīng)不需要蜘蛛抓取，可以進行Disallow。
? ? ? ??(2)某類集中的頁面具有共同的URL參數(shù)，可以實現(xiàn)批量禁止抓取功能。在操作批量禁止的時候，需要避免誤傷，即具有同樣URL特征的功能可能并不在禁止的目的之內(nèi)，無意中被禁止了。
?? ? ? ??關于同類特征的URL的一個特殊應用就是批量禁止動態(tài)URL的抓取。比如一個動態(tài)發(fā)布內(nèi)容的網(wǎng)站，初始頁面都是動態(tài)頁面，從SEO角度考慮，這些動態(tài)頁面全部批量生成了對應的靜態(tài)頁面，如下。
? ? ? ??http://www.abc.com/?id=1
? ? ? ??http://www.abc.com/?id=2
? ? ? ??......
? ? ? ??(已經(jīng)批量生成了如下)
? ? ? ??http://www.abc.com/?1.html
? ? ? ??http://www.abc.com/2.html
?? ? ? ??......
? ? ? ??如果同時被蜘蛛抓取了動態(tài)頁面和對應的靜態(tài)頁面，那么網(wǎng)站就存在大量的重復頁面，對SEO是不好的?？梢酝ㄟ^Robots功能，統(tǒng)一禁止動態(tài)URL的抓取，比如在Robots文件里寫如下內(nèi)容。
? ? ? ??Disallow : /*?*
? ? ? ??在抓取方面，蜘蛛會依據(jù)實際情況調(diào)整對網(wǎng)站的抓取頻次，即分配抓取定額，每天定量抓取網(wǎng)站內(nèi)容，“定量”這個詞意味著是有限的，-一個大門]戶網(wǎng)站如果一次性提交10萬條URL，并不意味著蜘蛛會很快把10萬條數(shù)據(jù)抓取回去，因此，必須有耐心跟蹤搜索蜘蛛在網(wǎng)站每天的爬行和收錄情況。網(wǎng)站式行業(yè)動態(tài)
