SRE 必备知识 - Kafka 探秘之零拷贝技术

如果你了解过 Kafka，那么它用到的一个性能优化技术可能会引起你的注意 -- 操作系统的零拷贝（zero-copy）优化。

零拷贝操作可以避免对数据的非必要拷贝，当然，并非是说完全没有拷贝。

在 Kafka 的场景下，操作系统可以从 page cache 拷贝数据到 socket buffer，直接绕过 Kafka broker 这个 Java 程序。这可以节省一些额外的拷贝，节省一些用户态和内核态的切换。让我们看一个例子。

传统拷贝

如果您的应用程序要从磁盘读取文件并通过网络发送它，则可能会进行一堆不必要的拷贝，以及用户态/内核态的切换。

Kafka 传统拷贝

一些术语：

read buffer: 读缓冲区，操作系统的 page cache
socket buffer: 套接字缓冲区，OS 用于管理数据包的字节缓冲区
NIC buffer: 网卡中的字节缓冲区
DMA copy: DMA 是 Direct Memory Access 的缩写，是内存控制器的一个功能，可以避免 CPU 的干预，允许硬件（图形卡、声卡、网卡等）直接访问内存 (RAM) 里的某些数据

在这个例子中，我们有 4 次模式切换（用户态和内核态之间的切换）和 4 次数据拷贝。

应用程序（这里指 Kafka）利用 DMA copy 从磁盘 load 数据到 read buffer（用户态->内核态）
read buffer 到应用程序的缓存区（内核态->用户态）
应用程序要发数据到网络上，实际是先写到 socket buffer（用户态->内核态）
socket buffer 到 NIC buffer（响应数据写完之后，由内核态返回用户态）

零拷贝

Kafka 零拷贝

为了减少拷贝，把数据从磁盘直接发向网络，那 Kafka 在存储数据的时候，就要保证存储的数据格式和将要发出的 response 格式一致。

在传统拷贝模式下，第二步、第三步没啥意义，因为 Kafka 没有对数据做额外处理，只是简单转发。那能否从磁盘直接发向网络呢？答案是肯定的。通过零拷贝技术，磁盘上的数据还是要先进入 read buffer，然后不用再拷贝到应用程序的缓存区，而是直接拷贝到 NIC buffer，图上的步骤 2：Appends just file descriptors，只是把文件描述符交给了 Socket buffer，实际数据并没有拷贝给 Socket buffer。这就是所谓的 scatter-gather 操作（也称为 Vectorized I/O），scatter-gather 是仅将 read buffer 数据指针存储在 socket buffer 中，并让 DMA 直接从内存读取数据的行为。

最终结果如何呢？