网络爬虫类是获取互联网大数据的主流方式，但在获取信息时，IP地址总是受到目标站点的限制。
　　在很多情况下，IP地址是网站反爬机制的依据。当我们访问网站时，我们的ip地址将被记录下来。
　　如果抓取频率高于目标网站的限制阀值，服务器将把你视为爬虫程序，限制你的访问。
　　频繁爬行会导致现有的IP地址无法使用，爬虫开发者通常用以下的方法解决这样的问题，供大家参考。
　　

1.放慢捕获速度。尽量模拟实际用户的行为，目标站点的压力相对减小，但数据捕获效率也相应降低。

2.设置代理IP。爬虫需要多个稳定的代理IP，每次使用代理IP更换IP地址，目标站点都认为是新用户，当然没有拉黑的风险。
　　为什么自己的IP会被服务器封?
　　1.这是目前服务器IP关闭的最常见原因。DDoS攻击会突然向您的服务器输入/输出大量无效或慢速访问请求，

导致服务器流量需求激增，导致带宽超限和服务器卡住，IP下的所有网站都无法访问。DDoS攻击不仅会导致目标服务器瘫痪，还会影响室内网络的正常运行。机房防火墙检测到这种情况，直接关闭服务器IP。

2.服务器流量过载。

如果服务器流入/流出的数据过多，远远超过订购的服务器带宽资源，服务提供商有权关闭服务器IP。

加大带宽，处理相关问题后开封。这种情况在独立服务器的使用中很少见，多见于VPS、云服务器。

3.违反机房规定的行为。

租用服务器时，客户应遵守与服务提供商的协议，避免放置违反机房规定、违反地区法律法规的内容(如色情、暴力、博彩、垃圾邮件等)。

正规经营者一般不定期检查用户网站，发现这样的违规网站，直接关闭IP，命令整改。

4.黑客入侵控制服务器违法操作。

服务器必须进行安全防护。一旦被黑客攻破，你的服务器可能会被用作肉鸡，扫描或攻击其他服务器。一旦被机房防御系统发现和识别，服务器知识产权将自动拦截并自动关闭。

ip被封印的原因是网站被捕获的速度过快，网站无法正常使用。网络爬虫类的要求量相对较大，一定会给目标站点带来一定的压力，

因此目标站点对此事制定相应的防御战略，通称反爬虫类战略，战略越严格，网络爬虫类的工作越难，对代理IP的质量要求越高，因此网络爬虫类所需的代理IP池的质量要求越高

同一代理爬行工作时间过长，代理IP工作时间不得过长，但网络爬行工作量一般较大，需要不断切换代理IP，保障网络爬行工作的持续进行，所以必要的IP量也很大。以上原因封锁代理ip。