百度蜘蛛(Baiduspider)爬取
进行网站日志分析的时候,常见到很多不同IP段的百度蜘蛛,为了方便大家更好的进行日志分析,下面列举了百度不同IP段常见蜘蛛的一些详情情况
121.14.89.*,此ip段为新站考察蜘蛛,通常有它光顾的时候,网站基本上是没有排名的。
123.125.66.*:代表百度蜘蛛IP拜访,预备抓取你工具。
123.125.68.*:这个蜘蛛每天都来,另外其它的来的少,示意网站大概要进入沙盒了,或被者降权。
123.125.71.*,此ip段为低权重蜘蛛,可作为收录判定。
123.125.71.*:抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是首创或收罗文章。
125.90.88.*:广东茂名市电信也属于百度蜘蛛IP重要形成身分,是新上线站较多,另有运用过站长东西,或SEO综合检测形成的。
203.208.60.*:此ip段为异常蜘蛛,通常由于网站服务器问题或其他违规行为会引起它来爬取。。
210.72.225.*,此ip段为日常巡逻蜘蛛,只要网站没有问题,没有违规操作就行。
220.181.68.*:每天这个IP段只增不减很有大概进沙盒或K站。
220.181.7.*:代表百度蜘蛛IP拜访,预备抓取你工具。
220.181.108.*,此ip段为权重蜘蛛,如果此蜘蛛频繁光顾,那么网站收录会有提高。如果频繁光顾网站却不收录,那么要注意是否网站质量不高,内容是否很差。
220.181.108.95:这个是百度抓取首页的公用IP,如是220.181.108段的话,根本来说你的网站会每天隔夜快照
220.181.108.92:同上98%抓取首页,大概还会抓取其他(不是指内页)220.181段属于权重IP段此段爬过的文章或首页根本24小时放出来。
220.181.108.91:属于综合的,重要抓取首页和内页或其他,属于权重IP段,爬过的文章或首页根本24小时放出来。
220.181.108.75:重点抓取更新文章的内页到达90%,8%抓取首页,2%其他。权重IP段,爬过的文章或首页根本24小时放出来。
220.181.108.86:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.89:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.94:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.97:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.80:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.77:公用抓首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.83:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
下面的百度蜘蛛IP造访,准备抓取你东西,抓取网页的百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*
百度竞价蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
(百度联盟爬虫)百度统计。
61.135.186.*
站长工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
114站长工具箱(这个是你的网站不稳定时常来的)
119.147.114.213
121.10.141.*
百度图片爬虫
123.15.**.**
如想在自己的网站上知道是哪个IP来过,可以把下面的代码放到你的网页中就可以了!
<script type="text/javascript" src="http://ip.t086.com/getip.php"></script>
60.28.22.0-60.28.22.255 天津市 百度蜘蛛 61.135.162.0-61.135.169.255 北京市 百度蜘蛛 61.135.186.0-61.135.190.255 北京市 百度蜘蛛 119.188.14.13-119.188.14.35 山东省济南市 百度蜘蛛 123.125.66.0-123.125.71.255 北京市 百度蜘蛛 159.226.50.0-159.226.50.255 北京市 百度蜘蛛 162.105.207.0-162.105.207.255 北京市 百度蜘蛛 180.149.133.0-180.149.133.255 北京市 百度蜘蛛 202.108.249.0-202.108.250.255 北京市 百度蜘蛛 220.181.19.0-220.181.19.255 北京市 百度蜘蛛 220.181.32.0-220.181.38.255 北京市 百度蜘蛛 220.181.108.0-220.181.108.255 北京市 百度蜘蛛
当然每个搜索引擎后都有它们各自的蜘蛛抓取IP 以上我只是列举出来百度蜘蛛的部分IP