近期,我经常收到此类问题,今天就来说清楚:
很多时候,高匿HTTP代理能很好帮助解决用户的计算机安全和个人隐私安全问题,所以现在企业爬虫或者开发者个人需要用到HTTP代理的时候,都会选择高匿名级别的。
不过目前市面上的HTTP代理以匿名程度划分,有透明代理、普通匿名代理、混淆代理和高匿代理4种,根据自己的业务需求和实际情况结合,我们可以找适合自己匿名程度的HTTP代理。
总的来说,免费HTTP代理基本上是透明代理没跑了,但是这种透明代理的危害相比大家都了解,我就不一一赘述了。
那问题来了,如何判断HTTP代理的匿名级别呢?方法很简答,利用数据包里的字段来区分:
REMOTE_ADDR, HTTP_VIA,HTTP_X_FORWARDED_FOR三个变量不同。
REMOTE_ADDR :我们使用HTTP代理访问目标网站的时候,目标网站的请求会先经过代理服务器,然后由代理服务器将请求转化到目标网站。此时服务器就会把 REMOTE_ADDR 设为代理服务器的 IP。
X-Forwarded-For :用来表示 HTTP 请求端真实 IP。当客户端使用了代理时,服务器就不知道客户端的真实 IP 地址。为了避免这个情况,代理服务器通常会增加一个 X-Forwarded-For 的头信息,把客户端的 IP 添加到头信息里面。
HTTP_VIA:是 HTTP 协议里面的一个header,记录了一次 HTTP 请求所经过的代理和网关,经过1个代理服务器,就添加一个代理服务器的信息,经过2个就添加2个。
1.透明代理配置:
此类HTTP代理,可以非常迅速的判断你是谁,你在哪里。
2.普通匿名配置:
使用了此类HTTP代理,目标服务器是可以知道你用了HTTP代理,但无法知道你是谁。
3.混淆代理配置:
整体来说,这类的HTTP代理匿名级别比较高,不是那么好发现真人是谁。
4.高匿代理配置:
匿名级别最高的,要找出你是谁,会非常难。
此时,就会有人跑来说:”那我每次都是去购买的HTTP代理,为什么到手也有透明代理呢?“这可能也是很多uu们会遇到的问题,那就不得不说了,虽然HTTP代理产业日趋成熟,正规的厂商的产品明码标价,高匿这一出还是没啥好说的,但是不排除有的厂商,它自身没资源,只是在网上爬取别的厂商放在网上公开的免费资源,然后转手卖给你,这种无本买卖最是赚钱。所以睁大眼睛自己挑选厂商还是很有必要的。