前言
这篇文章主要记录下对nginx架构的学习记录。
架构设计
优秀的模块化设计
高度模块化的设计是Nginx的架构基础。在Nginx中,除了少量的核心代码,其他一切皆
为模块。
在这5种模块中,配置模块与核心模块都是与Nginx框架密切相关的,是其他模块的基
础。而事件模块则是HTTP模块和mail模块的基础,原因参见8.2.2节。HTTP模块和mail模块
的“地位”相似,它们都更关注于应用层面。在事件模块中,ngx_event_core_module事件模块
是其他所有事件模块的基础;在HTTP模块中,ngx_http_core_module模块是其他所有HTTP模
块的基础;在mail模块中,ngx_mail_core_module模块是其他所有mail模块的基础。
事件驱动架构
所谓事件驱动架构,简单来说,就是由一些事件发生源来产生事件,由一个或者多个事
件收集器来收集、分发事件,然后许多事件处理器会注册自己感兴趣的事件,同时会“消
费”这些事件。下图为Nginx处理事件的简单模型:
管理进程、多工作进程设计
Nginx采用一个master管理进程、多个worker工作进程的设计方式,如图所示:
包括完全相同的worker进程、1个可选的cache manager进程以及1个可选的
cache loader进程。
这种设计带来以下优点:
(1)利用多核系统的并发处理能力
现代操作系统已经支持多核CPU架构,这使得多个进程可以占用不同的CPU核心来工
作。如果只有一个进程在处理请求,则必然会造成CPU资源的浪费!如果多个进程间的地位
不平等,则必然会有某一级同一地位的进程成为瓶颈,因此,Nginx中所有的worker工作进
程都是完全平等的。这提高了网络性能、降低了请求的时延。
(2)负载均衡
多个worker工作进程间通过进程间通信来实现负载均衡,也就是说,一个请求到来时更
容易被分配到负载较轻的worker工作进程中处理。这将降低请求的时延,并在一定程度上提
高网络性能。
(3)管理进程会负责监控工作进程的状态,并负责管理其行为
管理进程不会占用多少系统资源,它只是用来启动、停止、监控或使用其他行为来控制
工作进程。首先,这提高了系统的可靠性,当工作进程出现问题时,管理进程可以启动新的
工作进程来避免系统性能的下降。其次,管理进程支持Nginx服务运行中的程序升级、配置
项的修改等操作,这种设计使得动态可扩展性、动态定制性、动态可进化性较容易实现。
内存池的设计
为了避免出现内存碎片、减少向操作系统申请内存的次数、降低各个模块的开发复杂
度,Nginx设计了简单的内存池。这个内存池没有很复杂的功能:通常它不负责回收内存池
中已经分配出的内存。这种内存池最大的优点在于:把多次向系统申请内存的操作整合成一
次,这大大减少了CPU资源的消耗,同时减少了内存碎片。
因此,通常每一个请求都有一个这种简易的独立内存池(在第9章中会看到,Nginx为每
一个TCP连接都分配了1个内存池,而在第10章和第11章,HTTP框架为每一个HTTP请求又分
配了1个内存池),而在请求结束时则会销毁整个内存池,把曾经分配的内存一次性归还给
操作系统。这种设计大大提高了模块开发的简单性(如在前几章中开发HTTP模块时,申请
内存后都不用关心它释放的问题),而且因为分配内存次数的减少使得请求执行的时延得到
了降低,同时,通过减少内存碎片,提高了内存的有效利用率和系统可处理的并发连接数,
从而增强了网络性能。
使用统一管道过滤器模式的HTTP过滤模块
有一类HTTP模块被命名为HTTP过滤模块,其中每一个过滤模块都有输入端和输出端,
这些输入端和输出端都具有统一的接口。这些过滤模块将按照configure执行时决定的顺序组
成一个流水线式的加工HTTP响应的中心,每一个过滤模块都是完全独立的,它处理着输入
端接收到的数据,并由输出端传递给下一个过滤模块。每一个过滤模块都必须可以增量地处
理数据,也就是说能够正确处理完整数据流的一部分。
这种统一管理过滤器的设计方式的好处非常明显:首先它允许把整个HTTP过滤系统的
输入/输出简化为一个个过滤模块的简单组合,这大大提高了简单性;其次,它提供了很好
的可重用性,任意两个HTTP过滤模块都可以连接在一起(在可允许的范围内);再次,整
个过滤系统非常容易维护、增强。例如,开发了一个新的过滤模块后,可以非常方便地添加
到过滤系统中,这是一种高可扩展性。又如,旧的过滤模块可以很容易地被升级版的过滤模
块所替代,这是一种高可进化性;接着,它在可验证性和可测试性上非常友好,我们可以灵
活地变动这个过滤模块流水线来验证功能;最后,这样的系统完全支持并发执行。
其他一些用户模块
Nginx还有许多特定的用户模块。例如,ngx_http_stub_status_module模块提供对所有HTTP连接状态的监控,这就提高了系统可见性。而ngx_http_gzip_filter_module过滤模块和ngx_http_gzip_static_module模块使得相同的吞吐量传送了更多的信息,自然也就提高了网络效率。我们也可以开发这样的模块,让Nginx变得更好。
后续再对nginx架构各块原理进行更细化的学习。
参考书籍:《深入理解Nginx模块开发与架构解析第2版》