在網(wǎng)站日志里經(jīng)常可以看到一些偽百度蜘蛛IP,,比如:出現(xiàn)了 *.baidu.abc.com ,,這個乍一看像極了,,但是仔細(xì)一看,就看出來了,,這個域名其實是abc.com,。Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即為冒充,,建議使用DNS反查方式來確定抓取來源的ip是否屬于百度,。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
點擊“開始”-“運行”-“cmd”-“輸入nslookup IP地址”-“回車”
C:\documents and Settings\Administrator>nslookup 123.125.66.120
查詢結(jié)果如下:
Name: baiduspider-123-125-66-120.crawl.baidu.com
Address: 123.125.66.120
提示:
1,、Baiduspider絕對不會以匿名的方式抓取網(wǎng)頁。
2,、Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,,非*.baidu.com或*.baidu.jp即是冒充。
3,、Nslookup(name server lookup)( 域名查詢):是一個用于查詢internet域名信息或診斷DNS服務(wù)器問題的工具,。

上圖名稱為:220.181.108.105這樣的以名稱中帶有baiduspide,和crawl.baidu.com是屬于百度自己服務(wù)器的蜘蛛,除此之外,,都屬于假蜘蛛,。
發(fā)現(xiàn)假百度蜘蛛就要及時的在服務(wù)器上屏蔽這個IP,以防止服務(wù)器資源被耗盡,。