准备工作
实验环境
IP | 角色 |
---|---|
192.168.1.100 | 客户端请求IP |
192.168.1.100 | python 启动的HTTP服务 |
192.168.1.102 | nginx服务 |
192.168.1.103 | haproxy 服务 |
HTTP服务
这是一个简单的HTTP服务,主要打印HTTP报文用于分析客户端IP
#!/usr/bin/env python
# coding: utf-8import socket
from threading import Thread# 创建socket对象
sock_srv = socket.socket()# 绑定IP和port
sock_srv.bind(('0.0.0.0', 5001))# 开启服务
sock_srv.listen()# 定义一个函数, 处理来自客户端链接的处理
def socket_deal(conn: socket.socket, address: tuple):# 通过socket获取客户端的IP; 这里的客户端IP其实指的是TCP报文中的原始IP和原始Port# 就是上一个发起TCP发起的地址 print(address)# 打印HTTP的报文print(conn.recv(1024).decode())# 不做特殊处理,所有的请求均返回Hello Wordtemplate = """
HTTP/1.1 200 OK
Service: HTTP
Version: 1.1.2.2<h1>hello word</h1>"""conn.send(template.encode())# 关闭此次HTTP的请求conn.close()while True:# 接受Client的数据请求conn, address = sock_srv.accept()Thread(target=socket_deal, args=(conn, address)).start()
Nginx报文分析
nginx 4层代理
- 配置启动4层代理, 并请求
http://192.168.1.102
并观察101
的请求信息
stream {server {listen 80 ;proxy_pass 192.168.1.100:5001; # Python的HTTP服务# proxy_protocol on; # 可选性, 4层携带真实IP}
}
- 客户端请求4层转发,默认不传递客户端IP。
# print(address), 可以从socket得到客户端IP
('192.168.1.102', 52842)# 得到HTTP的报文信息如下
GET / HTTP/1.1
Host: 192.168.1.102
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
- 客户端请求4层转发,要求传递客户端IP。
# print(address), 可以从socket得到客户端IP
('192.168.1.102', 52848)# 得到HTTP的报文信息如下,多了一行PROXY。其余信息不变
PROXY TCP4 192.168.1.100 192.168.1.102 55360 80
GET / HTTP/1.1
Host: 192.168.1.102
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
nginx 7层代理
- 配置文件
server { listen 80; server_name localhost; location / { proxy_pass http://192.168.1.100:8000/; # proxy_set_header X-Forwarded-For $remote_addr; # nginx 去掉注释请求携带客户端真实IP } }
- 客户端请求7层代理,默认不传递客户端IP真实IP。
# print(address), 可以从socket得到客户端IP
('192.168.1.102', 52854)# 得到HTTP的报文信息如下.
GET / HTTP/1.0
Host: 192.168.1.100:5001
Connection: close
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
- 客户端请求7层,要求传递客户端IP真实IP。
# print(address), 可以从socket得到客户端IP
('192.168.1.102', 52858)# 得到HTTP的报文信息如下,多了一行PROXY。其余信息不变
GET / HTTP/1.0
Host: 192.168.1.100:5001
Connection: close
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
X-Forwarded-For: 192.168.1.100
分析NGINX获取客户端IP方法
方式 | 修改header信息 | 是否修改原始报文 | 获取客户端IP方式 |
---|---|---|---|
4层转发不带客户端IP | 不修改 | 不修改 | 服务端可以获取上一层发起请求的socket 源IP, 但不是客户端真实IP |
4层转发携带客户端IP | 不修改 | 原始报文前增加PROXY格式内容 | 通过PROXY内容可以获取客户端IP |
7层转发不带客户端IP | 不修改 | nginx重新封装HTTP报文 | 服务端 socket 获取 |
7层转发携带客户端IP | nginx 通过增加header信息传递客户端IP | nginx重新封装HTTP报文 | 通过nginx封装的报文获取XFF |
-
7层代理会对报文进行重新封装,封装过程中可以通过增加XFF的header传递客户端IP。
-
4层转发不会修改报文。在不修改HTTP报文前提下,前置补充代理信息, 格式: PROXY TCP 客户端IP 代理端IP 客户端端口 代理端端口
Haproxy 代理分析
Haproxy 4层代理
- 配置
defaultsmode tcpfrontend main *:80default_backend appbackend appbalance roundrobinserver app1 192.168.1.100:5001 check # 不携带真实IP# server app1 192.168.1.100:5001 send-proxy check # 携带真实IP
- 客户端请求4层转发,默认不要求传递客户端IP
# print(address) 获取客户端的address信息
('192.168.1.103', 56790)# 这个信息和NGINX 4层信息一样
GET / HTTP/1.1
Host: 192.168.1.103
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
- 客户端请求4层转发,要求传递客户端IP
# print(address) 获取客户端的address信息
('192.168.1.103', 58410)# 与Nginx 4层带真实IP一样, 报文之前增加了PROXY信息
PROXY TCP4 192.168.1.100 192.168.1.103 57871 80
GET / HTTP/1.1
Host: 192.168.1.103
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
Haproxy 7层代理
- 配置
defaultsmode httpoption forwardfor except 127.0.0.0/8 # 默认携带客户端IP,frontend main *:80default_backend appbackend appbalance roundrobinserver app1 192.168.1.100:5001 check
- 客户端请求7层代理,默认传递客户端IP
# print(address) 获取客户端的address信息
('192.168.1.103', 53178)# 与Nginx 7层带客户端IP一样, 报文包含X-Forwarded-For
GET /favicon.ico HTTP/1.1
Host: 192.168.1.103
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: image/avif,image/webp,image/apng,image/svg+xml,image/*,*/*;q=0.8
Referer: http://192.168.1.103/
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
X-Forwarded-For: 192.168.1.100
Connection: close
- 客户端请求7层代理,注释不传递客户端IP
# print(address) 获取客户端的address信息
('192.168.1.103', 53576)# 与Nginx 7层不传递客户端IP一样, 报文包含没有X-Forwarded-For
GET / HTTP/1.1
Host: 192.168.1.103
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
Connection: close
分析Haproxy获取客户端IP方法
其实和nginx一样
方式 | 修改header信息 | 是否修改原始报文 | 获取客户端IP方式 |
---|---|---|---|
4层转发不带客户端IP | 不修改 | 不修改 | 服务端可以获取上一层发起请求的socket 源IP, 但不是客户端真实IP |
4层转发携带客户端IP | 不修改 | 原始报文前增加PROXY格式内容 | 通过PROXY内容可以获取客户端IP |
7层转发不带客户端IP | 不修改 | nginx重新封装HTTP报文 | 服务端 socket 获取 |
7层转发携带客户端IP | nginx 通过增加header信息传递客户端IP | nginx重新封装HTTP报文 | 通过nginx封装的报文获取XFF |
案例小结
上述操作主要是完成: Nginx和Haproxy两款服务分别完成: 4层转发和7层代理。 携带IP与不携带客户端IP配置上的区别和报文展示
转发方式 | 传递方式 | 特点 |
---|---|---|
7层代理 | 增加HTTP报文的header信息X-Forwarded-For, 进行传递客户端IP | 在原始报文进行修改 |
4层代理 | 在HTTP报文前方附加一层PROXY信息, 进行传递客户端IP | 不修改原始报文,在报文前方附加数据 |
附伪代码获取客户端IP
#!/usr/bin/env python
# coding: utf-8
import socket
from threading import Thread# 创建socket对象
sock_srv = socket.socket()# 绑定IP和port
sock_srv.bind(('0.0.0.0', 5001))# 开启服务
sock_srv.listen()# 简单的Response结构
def response(content, status, msg, conn):template = """
HTTP/1.1 %d %s
Service: HTTP
Version: 1.1.2.2
Content-Type: text/html; charset=UTF-8
Connection: close%s """ % (status, msg, content)return conn.send(template.encode())# 定义一个函数, 处理来自客户端链接的处理
def socket_deal(conn: socket.socket, address: tuple):try:# 通过socket获取客户端的IP; 这里的客户端IP其实指的是TCP报文中的原始IP和原始Port# 就是上一个发起TCP发起的地址_client_ip, _client_port = addressdata = conn.recv(1024).decode()# 打印HTTP的报文_data_lines = data.splitlines()# 代理模式_proxy_type = "可能HTTP代理"# header 信息收集extend_data = ["header信息", ]for line in _data_lines:# 如果4层传递客户端IP,会得到如下信息。if line.startswith('PROXY'):# PROXY TCP4 192.168.1.100 192.168.1.102 55360 80_, protocol, _c_ip, _p_ip, _c_port, _p_port = line.split()if protocol != 'TCP4':response("PROXY ERROR", 500, "PROXY_ERROR", conn)else:_proxy_type = "TCP代理"_client_ip = _c_ip# 有时候报文只收到PROXY信息, 就需要第二次接收报文信息if len(_data_lines) == 1:socket_deal(conn, (_c_ip, _c_port))return# 如果一次性收完报文信息则继续处理else:continueif ":" not in line:# 不是K:V 形式,那不是header。 可能是post数据, 也可能是HTTP协议。 此处忽略continue# 拿到header信息header_key, header_value = [item.strip() for item in line.split(":", 1)]if header_key == 'X-Forwarded-For':_client_ip = header_value# header 信息入库extend_data.append(":".join((header_key, header_value)))content = ["真实的客户端IP可能是" + _client_ip, "<br />"]content.extend(extend_data)response("<br />".join(content), 200, 'ok', conn)except Exception as e:print(e)finally:# 关闭此次HTTP的请求conn.close()while True:# 接受Client的数据请求conn, address = sock_srv.accept()Thread(target=socket_deal, args=(conn, address)).start()
实践: NGINX与HAProxy结合使用。
准备环境
IP | 角色 | 标记 | 说明 |
---|---|---|---|
192.168.1.100 | 客户端请求IP | client | 浏览器请求4层转发到后端HTTP服务 |
192.168.1.102 | NGINX实现提供4层转发 | NGINX-PROXY | 转发到104服务器 |
192.168.1.103 | Haproxy提供4层转发 | HAProxy | 4层转发到102的7层 |
192.168.1.104 | NGINX 7层服务 | NGINX-HTTP | 代表HTTP服务器。直接返回,并观察日志 |
- 启动一台NGINX HTTP服务器,扮演正常访问的网站。 代号NGINX-HTTP
- 另启动一台NGINX服务器,实现四层转发功能到NGINX HTTP服务器,代号NGINX-PROXY
- 启动一台HAProxy服务器,实现四层转发功能到NGINX HTTP服务器,代号HAProxy
- 在客户端分别访问NGINX-PROXY和HAProxy, 并采集NGINX-HTTP的日志
- 在NGINX-PROXY和HAProxy交叉请求CURL,并携带Header信息: X-FORWARDED-FOR, 并采集NGINX-HTTP的日志
- PROXY-PROTOCOL, 是四层转发开启携带真实IP补充协议,该协议补充在HTTP报文之前 参考文档
NGINX-HTTP服务器
- HTTP服务主要配置
- 因为4层转发携带了真实IP后, NGINX收到的不再是一个纯粹的HTTP报文。 所以需要在NGINX服务开启如下设置。 参考文档
http {# r:访问IP, 也就是代理端IP。 # P: PROXY-PROTOCOL的IP,也就是4层转发携带的补充报文的IP,也就是客户端IP。 # xff: 藏在Header中的X-Forwarded-For的IP。log_format proxy_protocol_log 'r: $remote_addr p: $proxy_protocol_addr xff: $http_x_forwarded_for';server {access_log logs/proxy_protocol_access.log proxy_protocol_log; # 观察IP: 访问IP,代理IP,XFFerror_log logs/proxy_protocol_error.loglisten 80 ; # 接收HTTP报文走80端口 listen 8000 proxy_protocol; # PROXY PROTOCOL 走8000端口,PROTOCOL 是通过四层转发获取真实IP的补充协议 server_name localhost; location / {root html;index index.html;}}
}
NGINX-PROXY服务器
关键配置
stream {server {listen 80 ;proxy_protocol on; # 需要开启使用PROXY PROTOCOL协议。proxy_pass 192.168.35.253:8000;}
}
浏览器访问, NGINX-HTTP(192.168.1.104)输出日志信息
tail logs/proxy_protocol_access.log
r: 192.168.33.250 p: 192.168.33.254 xff: -
CURL访问,NGINX-HTTP(192.168.1.104)输出日志信息
tail logs/proxy_protocol_access.log
r: 192.168.33.250 p: 192.168.35.252 xff: 192.168.1.199
HAProxy服务器
关键配置
defaultsmode tcpbackend appbalance roundrobinserver app1 192.168.35.253:8000 send-proxy # send-proxy 开启支持PROXY-PROTOCOL
浏览器访问, NGINX-HTTP(192.168.1.104)输出日志信息
tail -f logs/proxy_protocol_access.log
r: 192.168.35.252 p: 192.168.33.254 xff: -
CURL访问,NGINX-HTTP(192.168.1.104)输出日志信息
tail -f logs/proxy_protocol_access.log
r: 192.168.35.252 p: 192.168.33.250 xff: 192.168.1.199
再次小结
我们尝试结合常见配置结构进行验证。 可以初步发现
- 4层转发携带客户端IP是需要使用PROPXY-PROTOCOL协议支持。客户端IP会补充在这个协议内
- 作为4层转发端,因为4层转发不修改报文,所以在HTTP报文前添加PROPXY-PROTOCOL信息。
- 4层转发服务器需要开启 protocol 支持发送PROXY-PROTOCOL+HTTP的混淆报文结构
- 4层目标服务器需要开启 protocol 支持接收PROXY-PROTOCOL+HTTP的混淆报文结构
- 使用补充PROXY-PROTOCL后,HTTP的报文不在是一个纯粹的报文结构,所以作为服务网端NGINX开启了两种模式
- listen 80; 支持处理普通HTTP请求,
- listen 80 protocol; 支持处理PROXY-PROTOCOL + HTTP报文的形式。这也是四层代理携带IP的特有形式
- 在选择HTTP服务器时,需要考虑HTTP服务是否支持PROXY-PROTOCOL。