Linux：NAT等相关问题

1：NAT背景

2：NAT IP转换过程

3：NATP

4：正向代理

5：反向代理

6：NAT和代理服务器

应用场景

实现方法

1：NAT背景

IPv4地址耗尽：随着互联网的迅速发展，连接到网络的设备数量急剧增加，导致IPv4地址空间逐渐耗尽。NAT作为一种解决方案，允许多个设备共享一个公共IPv4地址来访问互联网。
私有地址空间：为了有效管理网络和节约IPv4地址，IETF（互联网工程任务组）定义了私有地址空间，这些地址在互联网上不是唯一的，不能直接用于互联网通信。NAT技术使得这些私有地址能够被转换为可在互联网上使用的地址。
网络安全：NAT提供了一定程度的网络安全，因为它隐藏了内部网络的IP地址。这可以防止外部攻击者直接访问内部网络设备。
成本节约：在早期互联网时代，申请和维护足够的公共IP地址可能成本较高。NAT技术允许使用较少的公共IP地址，从而节约了成本。
网络隔离：NAT可以在不同网络之间提供隔离，例如，家庭网络和企业网络通常使用NAT来隔离内部网络和互联网。
协议兼容性：随着新协议和应用的出现，保持不同网络设备和协议的兼容性变得越来越重要。NAT可以在不同版本的IP协议之间提供转换，帮助维护网络的兼容性。
移动性支持：随着移动设备的普及，NAT技术也支持了网络地址的动态分配和移动设备的互联网接入。
服务连续性：NAT允许网络在不更换IP地址的情况下进行升级和扩展，保持了服务的连续性。

NAT技术的引入是为了解决实际的网络问题，特别是IPv4地址不足的问题，并提供额外的网络安全和灵活性。随着互联网的发展，NAT已经成为现代网络通信中不可或缺的一部分。尽管如此，NAT也带来了一些挑战，如对端到端通信的限制和某些应用协议的兼容性问题。

2：NAT IP转换过程

• NAT 路由器将源地址从 10.0.0.10 替换成全局的 IP 202.244.174.37;

• NAT 路由器收到外部的数据时, 又会把目标 IP 从 202.244.174.37 替换回10.0.0.10;

• 在 NAT 路由器内部, 有一张自动生成的, 用于地址转换的表;

• 当 10.0.0.10 第一次向 163.221.120.9 发送数据时就会生成表中的映射关系;

3：NATP

如果局域网内, 有多个主机都访问同一个外网服务器, NAPT（网络地址与端口转换）是一种特殊形式的NAT（网络地址转换），它不仅转换IP地址，还转换传输层的端口号。

NAPT使用IP + port来建立这个关联关系。

这种关联关系也是由 NAT 路由器自动维护的. 例如在 TCP 的情况下, 建立连接时, 就会生成这个表项; 在断开连接后, 就会删除这个表项。

NAT 技术的缺陷

• 由于 NAT 依赖这个转换表, 所以有诸多限制:

• 无法从 NAT 外部向内部服务器建立连接;

• 装换表的生成和销毁都需要额外开销;

• 通信过程中一旦 NAT 设备异常, 即使存在热备, 所有的 TCP 连接也都会断开;

4：正向代理

正向代理

概述

正向代理（Forward Proxy） 是一种常见的网络代理方式，它位于客户端和目标服务器之间，代表客户端向目标服务器发送请求。正向代理服务器接收客户端的请求，然后将请求转发给目标服务器，最后将目标服务器的响应返回给客户端。通过这种方式，正向代理可以实现多种功能，如提高访问速度、隐藏客户端身份、实施访问控制等。

工作原理

• 客户端将请求发送给正向代理服务器。

• 正向代理服务器接收请求，并根据配置进行处理，如缓存查找、内容过滤等。

• 正向代理服务器将处理后的请求转发给目标服务器。

• 目标服务器处理请求，并将响应返回给正向代理服务器。

• 正向代理服务器将响应返回给客户端

功能特点

• 缓存功能： 正向代理服务器可以缓存经常访问的资源，当客户端再次请求这些资源时，可以直接从缓存中获取，提高访问速度。

• 内容过滤： 正向代理可以根据预设的规则对请求或响应进行过滤，如屏蔽广告、阻止恶意网站等。

• 访问控制： 通过正向代理，可以实现对特定网站的访问控制，如限制员工在工作时间访问娱乐网站。

• 隐藏客户端身份： 正向代理可以隐藏客户端的真实 IP 地址，保护客户端的隐私。

• 负载均衡： 在多个目标服务器之间分配客户端请求，提高系统的可扩展性和可靠性。

应用场景

访问控制：
- 正向代理可以用来控制对特定网站的访问，例如，家长可能使用正向代理来阻止孩子访问不适宜的网站。
缓存和带宽优化：
- 代理服务器可以缓存频繁请求的内容，减少对原始服务器的请求，从而节省带宽并加快访问速度。
匿名访问：
- 用户可以通过正向代理服务器匿名访问互联网，因为代理服务器隐藏了客户端的真实IP地址。
内容过滤：
- 组织机构使用正向代理来过滤掉不安全或不适当的内容，确保网络环境的合规性。
负载均衡：
- 在多个服务器之间分配客户端请求，以平衡负载和优化资源使用。
访问日志记录：
- 正向代理可以记录用户的访问历史和习惯，用于分析用户行为或进行网络安全监控。
地理位置限制：
- 用户可以使用正向代理来绕过地理位置限制，访问那些在他们所在地区不可用的在线服务。
互联网服务提供商（ISP）使用：
- ISP可以使用正向代理来管理用户的互联网访问，提供额外的服务如广告过滤或数据压缩。
公司和学校：
- 公司和学校使用正向代理来监控员工和学生的网络活动，防止访问不相关的网站，提高生产效率。
遵守法规和政策：
- 组织可能需要遵守特定的法规和政策，正向代理可以帮助实施这些政策，如阻止访问版权受保护的材料。
网络爬虫和数据抓取：
- 正向代理可以用来改变请求的来源IP，避免被目标网站封锁，这对于网络爬虫和数据抓取非常有用。
保护隐私：
- 用户可以通过正向代理保护个人隐私，防止个人信息在访问网站时被跟踪或记录。

5：反向代理

概述

反向代理服务器是一种网络架构模式，其作为 Web 服务器的前置服务器，接收来自客户端的请求，并将这些请求转发给后端服务器，然后将后端服务器的响应返回给客户端。这种架构模式可以提升网站性能、安全性和可维护性等。

基本原理

反向代理服务器位于客户端和 Web 服务器之间，当客户端发起请求时，它首先会到达反向代理服务器。反向代理服务器会根据配置的规则将请求转发给后端的 Web服务器，并将 Web 服务器的响应返回给客户端。在这个过程中，客户端并不知道实际与哪个 Web 服务器进行了交互，它只知道与反向代理服务器进行了通信。

应用场景

1：负载均衡： 反向代理服务器可以根据配置的负载均衡策略，将客户端的请求分发到多个后端服务器上，以实现负载均衡。这有助于提升网站的整体性能和响应速度，特别是在高并发场景下。

2：安全保护： 反向代理服务器可以隐藏后端 Web 服务器的真实 IP 地址，降低其被直接攻击的风险。同时，它还可以配置防火墙、访问控制列表（ACL）等安全策略，对客户端的请求进行过滤和限制，以保护后端服务器的安全。

3：缓存加速： 反向代理服务器可以缓存后端 Web 服务器的响应内容，对于重复的请求，它可以直接从缓存中返回响应，而无需再次向后端服务器发起请求。这可以大大减少后端服务器的负载，提升网站的响应速度。

4： 内容过滤和重写： 反向代理服务器可以根据配置的规则对客户端的请求进行过滤和重写，例如添加或删除请求头、修改请求路径等。这有助于实现一些特定的业务需求，如 URL 重写、用户认证等。

5：动静分离： 在大型网站中，通常需要将静态资源和动态资源分开处理。通过将静态资源部署在反向代理服务器上，可以直接从反向代理服务器返回静态资源的响应，而无需再次向后端服务器发起请求。这可以大大提升静态资源的访问速度。

6： CDN（Content Delivery Network，内容分发网络）就是采用了反向代理的原理。

6：NAT和代理服务器

路由器往往都具备 NAT 设备的功能, 通过 NAT 设备进行中转, 完成子网设备和其他子网设备的通信过程。

代理服务器看起来和 NAT 设备有一点像. 客户端像代理服务器发送请求, 代理服务器将请求转发给真正要请求的服务器; 服务器返回结果后, 代理服务器又把结果回传给客户端。

NAT和代理服务器的区别

• 从应用上讲, NAT 设备是网络基础设备之一, 解决的是 IP 不足的问题. 代理服务器则是更贴近具体应用, 比如通过代理服务器进行翻墙, 另外像迅游这样的加速器,也是使用代理服务器.

• 从底层实现上讲, NAT 是工作在网络层, 直接对 IP 地址进行替换. 代理服务器往往工作在应用层.

• 从使用范围上讲, NAT 一般在局域网的出口部署, 代理服务器可以在局域网做,也可以在广域网做, 也可以跨网.

• 从部署位置上看, NAT 一般集成在防火墙, 路由器等硬件设备上, 代理服务器则是一个软件程序, 需要部署在服务器上.

代理服务器应用

1：翻墙: 广域网中的代理.

2：负载均衡: 局域网中的代理.

内网穿透

内网穿透（Intranet Penetration 或 NAT Traversal）是一种技术，它允许位于私有网络（如家庭或企业内部网络）后面的设备能够被外部网络（如互联网）访问。

这种技术通常用于以下场景：

远程访问：
- 用户希望从外部网络访问内网中的服务，例如远程桌面、文件共享或家庭自动化系统。
家庭服务器：
- 用户可能想在内网中搭建Web服务器、邮件服务器或其他类型的服务器，并希望从互联网上访问它们。
物联网（IoT）设备：
- IoT设备通常位于内网中，内网穿透可以让这些设备从互联网接收指令或发送数据。
游戏联机：
- 玩家可能需要从互联网上连接到内网中的游戏服务器进行联机游戏。
开发和测试：
- 开发者可能需要从外部网络访问内网中用于开发和测试的环境。
避免地理位置限制：
- 有些服务可能在特定地区不可用，内网穿透可以用来绕过这些限制。

实现内网穿透的常见方法包括：

端口转发：在路由器上设置端口转发规则，将外部请求转发到内网中特定设备的特定端口。
VPN（虚拟私人网络）：建立VPN连接可以模拟直接连接到内网，从而访问内网资源。
反向代理：使用反向代理服务器将外部请求转发到内网中的服务器。
NAT穿透技术：如UPnP（通用即插即用）和NAT-PMP（NAT端口映射协议），它们允许设备自动配置路由器的端口转发规则。
第三方服务：使用ngrok、frp等第三方内网穿透服务，它们通过在内网设备和第三方服务器之间建立安全隧道来实现穿透。

内网打洞

UDP内网穿透和打洞原理与代码实现 - 第七子007 - 博客园 (cnblogs.com)https://www.cnblogs.com/theseventhson/p/14304321.html "内网打洞"（有时称为"NAT穿透"或"端到端连接"）是指在两个位于不同内网（通常是NAT之后）的设备之间建立直接的网络连接的过程。由于NAT设备通常只允许从外部网络主动发起的连接进入内网，因此，当两个内网设备需要直接通信时，就需要使用内网打洞技术来实现。

应用场景

P2P文件共享：点对点的文件共享服务需要在两台设备之间建立直接连接。
在线游戏：玩家需要直接连接到对方进行多人游戏。
远程桌面：用户可能希望从任何地方远程访问内网中的计算机桌面。
VoIP服务：网络电话服务可能需要在用户之间建立直接的音频或视频连接。

实现方法

STUN（Session Traversal Utilities for NAT）：
- STUN服务器帮助内网中的设备发现其公共IP地址和NAT类型，并提供其公共地址和端口映射的信息。
TURN（Traversal Using Relays around NAT）：
- 当直接连接无法建立时，TURN服务器作为中介，转发数据包，允许两个NAT后面的设备进行通信。
ICE（Interactive Connectivity Establishment）：
- ICE是一个框架，结合了STUN和TURN，用于在两个NAT后面的设备之间建立直接的连接。
UPnP（Universal Plug and Play）：
- UPnP允许设备自动配置NAT设备的端口转发规则，从而允许外部设备连接到内网设备。
NAT-PMP（NAT Port Mapping Protocol）：
- NAT-PMP是另一种协议，允许设备请求NAT路由器自动打开端口，类似于UPnP。
端到端协议：
- 一些应用程序可能实现自己的协议来处理NAT穿透，例如使用特定的打洞技术或信令方法。