【C语言】一个RDMACM、Verbs API与epoll一起使用的例子

2023-12-13 05:49:52

一、epoll介绍

epoll是Linux内核为处理大批量文件描述符而作了改进的poll,是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。

以下是epoll的主要使用方法和优点:

  1. epoll的创建和使用主要涉及到三个函数:epoll_create、epoll_ctl和epoll_wait。首先,使用epoll_create创建一个新的epoll实例,并返回一个引用该实例的文件描述符。然后,通过epoll_ctl注册对感兴趣的文件描述符。最后,使用epoll_wait等待I/O事件。
  2. epoll的优点主要体现在:支持一个进程打开大数目的socket描述符(FD);IO效率不随FD数目增加而线性下降;支持边缘触发模式;使用mmap加速内核与用户空间的消息传递。
  3. 水平触发和边沿触发是epoll的两种事件分发机制。二者的区别在于,水平触发模式下,只要文件描述符处于就绪状态,无论应用程序是否读取或者写入数据,每次调用epoll_wait都会返回该文件描述符;而在边缘触发模式下,只有当文件描述符状态发生变化时(比如从非就绪变为就绪),epoll_wait才会返回该文件描述符。

总的来说,epoll是Linux内核中处理大批量文件描述符的高效工具,特别适用于大量并发连接中只有少量活跃的情况,能显著提高系统CPU利用率。

二、示例

以下是一个使用C语言的示例,展示了如何在使用RDMACM和Verbs API时与epoll一起使用:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/epoll.h>
#include <rdma/rdma_cma.h>

#define MAX_EVENTS 10

struct connection {
    struct rdma_cm_id *id;
    struct ibv_qp *qp;
    // 其他连接相关的数据
};

void handle_cm_event(struct rdma_cm_event *event) {
    // 处理RDMACM事件的逻辑
}

void handle_cq_event(struct ibv_wc *wc) {
    // 处理完成队列事件的逻辑
}

int main() {
    struct rdma_event_channel *cm_channel;
    struct rdma_cm_event *event;
    struct epoll_event epoll_events[MAX_EVENTS];
    struct connection *conn;
    struct ibv_cq *cq;
    struct ibv_wc wc;
    int cm_fd, cq_fd, epoll_fd, i, n;

    // 创建RDMACM事件通知文件描述符
    cm_channel = rdma_create_event_channel();
    if (!cm_channel) {
        perror("Failed to create RDMACM event channel");
        return 1;
    }

    // 创建完成队列(CQ)
    cq = ibv_create_cq(NULL, 10, NULL, NULL, 0);
    if (!cq) {
        perror("Failed to create completion queue");
        return 1;
    }

    // 获取RDMACM事件通知文件描述符和完成队列的文件描述符
    cm_fd = rdma_event_channel_fd(cm_channel);
    cq_fd = cq->channel->fd;

    // 创建epoll实例
    epoll_fd = epoll_create1(0);
    if (epoll_fd == -1) {
        perror("Failed to create epoll instance");
        return 1;
    }

    // 将RDMACM事件通知文件描述符添加到epoll的事件集合中
    struct epoll_event cm_event;
    cm_event.events = EPOLLIN | EPOLLET;
    cm_event.data.fd = cm_fd;
    if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, cm_fd, &cm_event) == -1) {
        perror("Failed to add RDMACM event channel to epoll");
        return 1;
    }

    // 将完成队列的文件描述符添加到epoll的事件集合中
    struct epoll_event cq_event;
    cq_event.events = EPOLLIN | EPOLLET;
    cq_event.data.fd = cq_fd;
    if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, cq_fd, &cq_event) == -1) {
        perror("Failed to add completion queue to epoll");
        return 1;
    }

    // 进入事件循环
    while (1) {
        // 等待事件发生
        n = epoll_wait(epoll_fd, epoll_events, MAX_EVENTS, -1);
        if (n == -1) {
            perror("Failed to wait for events");
            return 1;
        }

        // 处理所有事件
        for (i = 0; i < n; i++) {
            if (epoll_events[i].data.fd == cm_fd) {
                // 有RDMACM事件发生
                event = rdma_get_cm_event(cm_channel);
                handle_cm_event(event);
                rdma_ack_cm_event(event);
            } else if (epoll_events[i].data.fd == cq_fd) {
                // 有完成队列事件发生
                while (ibv_poll_cq(cq, 1, &wc) > 0) {
                    handle_cq_event(&wc);
                }
            }
        }
    }

    // 清理资源
    close(epoll_fd);
    ibv_destroy_cq(cq);
    rdma_destroy_event_channel(cm_channel);

    return 0;

}

在这个示例中,我们使用了rdma/rdma_cma.h头文件中提供的RDMACM和Verbs API。首先,我们创建了一个RDMACM事件通知文件描述符和一个完成队列(CQ),然后将它们的文件描述符添加到epoll的事件集合中。接下来,我们进入一个事件循环,等待事件发生。如果有RDMACM事件发生,我们调用handle_cm_event函数来处理该事件;如果有完成队列事件发生,我们调用handle_cq_event函数来处理该事件。
请注意,这只是一个简单的示例,实际使用时可能需要根据具体需求进行更多的处理和错误检查。

文章来源:https://blog.csdn.net/eidolon_foot/article/details/134960650
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。