通过IP反查(nslookup)判断百度蜘蛛IP真假

通过IP反查(nslookup)判断百度蜘蛛IP真假

我们经常会碰到黑客利用伪装蜘蛛扫描网站,今天我们介绍下如何利用IP反查方法,判断蜘蛛是否为百度搜索引擎蜘蛛。以百度为例,通常我们判断是否是百度蜘蛛抓取看用户代理字符串也就是User-Agent,但是User-Agent是可以模拟的,所以很多时候也会有虚假的模拟伪装成百度蜘蛛来抓取,这时候我们就需要学会分辨真伪。首先是百度User-Agent代理字符串,百度官方公布的有如下User-Agent:移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) Appl...