【C语言】RDMACM、Verbs API与epoll一起使用的示例

一、epoll介绍

epoll是Linux内核为处理大批量文件描述符而作了改进的poll，是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。

以下是epoll的主要使用方法和优点：

epoll的创建和使用主要涉及到三个函数：epoll_create、epoll_ctl和epoll_wait。首先，使用epoll_create创建一个新的epoll实例，并返回一个引用该实例的文件描述符。然后，通过epoll_ctl注册对感兴趣的文件描述符。最后，使用epoll_wait等待I/O事件。
epoll的优点主要体现在：支持一个进程打开大数目的socket描述符(FD)；IO效率不随FD数目增加而线性下降；支持边缘触发模式；使用mmap加速内核与用户空间的消息传递。
水平触发和边沿触发是epoll的两种事件分发机制。二者的区别在于，水平触发模式下，只要文件描述符处于就绪状态，无论应用程序是否读取或者写入数据，每次调用epoll_wait都会返回该文件描述符；而在边缘触发模式下，只有当文件描述符状态发生变化时（比如从非就绪变为就绪），epoll_wait才会返回该文件描述符。

总的来说，epoll是Linux内核中处理大批量文件描述符的高效工具，特别适用于大量并发连接中只有少量活跃的情况，能显著提高系统CPU利用率。

二、示例

以下是一个使用C语言的示例，展示了如何在使用RDMACM和Verbs API时与epoll一起使用：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/epoll.h>
#include <rdma/rdma_cma.h>#define MAX_EVENTS 10struct connection {struct rdma_cm_id *id;struct ibv_qp *qp;// 其他连接相关的数据
};void handle_cm_event(struct rdma_cm_event *event) {// 处理RDMACM事件的逻辑
}void handle_cq_event(struct ibv_wc *wc) {// 处理完成队列事件的逻辑
}int main() {struct rdma_event_channel *cm_channel;struct rdma_cm_event *event;struct epoll_event epoll_events[MAX_EVENTS];struct connection *conn;struct ibv_cq *cq;struct ibv_wc wc;int cm_fd, cq_fd, epoll_fd, i, n;// 创建RDMACM事件通知文件描述符cm_channel = rdma_create_event_channel();if (!cm_channel) {perror("Failed to create RDMACM event channel");return 1;}// 创建完成队列（CQ）cq = ibv_create_cq(NULL, 10, NULL, NULL, 0);if (!cq) {perror("Failed to create completion queue");return 1;}// 获取RDMACM事件通知文件描述符和完成队列的文件描述符cm_fd = rdma_event_channel_fd(cm_channel);cq_fd = cq->channel->fd;// 创建epoll实例epoll_fd = epoll_create1(0);if (epoll_fd == -1) {perror("Failed to create epoll instance");return 1;}// 将RDMACM事件通知文件描述符添加到epoll的事件集合中struct epoll_event cm_event;cm_event.events = EPOLLIN | EPOLLET;cm_event.data.fd = cm_fd;if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, cm_fd, &cm_event) == -1) {perror("Failed to add RDMACM event channel to epoll");return 1;}// 将完成队列的文件描述符添加到epoll的事件集合中struct epoll_event cq_event;cq_event.events = EPOLLIN | EPOLLET;cq_event.data.fd = cq_fd;if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, cq_fd, &cq_event) == -1) {perror("Failed to add completion queue to epoll");return 1;}// 进入事件循环while (1) {// 等待事件发生n = epoll_wait(epoll_fd, epoll_events, MAX_EVENTS, -1);if (n == -1) {perror("Failed to wait for events");return 1;}// 处理所有事件for (i = 0; i < n; i++) {if (epoll_events[i].data.fd == cm_fd) {// 有RDMACM事件发生event = rdma_get_cm_event(cm_channel);handle_cm_event(event);rdma_ack_cm_event(event);} else if (epoll_events[i].data.fd == cq_fd) {// 有完成队列事件发生while (ibv_poll_cq(cq, 1, &wc) > 0) {handle_cq_event(&wc);}}}}// 清理资源close(epoll_fd);ibv_destroy_cq(cq);rdma_destroy_event_channel(cm_channel);return 0;}

在这个示例中，我们使用了rdma/rdma_cma.h头文件中提供的RDMACM和Verbs API。首先，我们创建了一个RDMACM事件通知文件描述符和一个完成队列（CQ），然后将它们的文件描述符添加到epoll的事件集合中。接下来，我们进入一个事件循环，等待事件发生。如果有RDMACM事件发生，我们调用handle_cm_event函数来处理该事件；如果有完成队列事件发生，我们调用handle_cq_event函数来处理该事件。
请注意，这只是一个简单的示例，实际使用时可能需要根据具体需求进行更多的处理和错误检查。