一种针对网络I/O虚拟化的并行化可扩展数据处理方法

摘要

本发明公开了一种针对网络I/O虚拟化的并行化可扩展数据处理方法，以网络层次化结构为依据，将数据收发、协议解析、数据流管理、上层应用都视为网络I/O的环节，将各环节利用非对称流水线方式并行化协同工作；同时采用对称性并行方式在计算资源瓶颈点注入充分计算资源，实现数据处理能力的并行化和可扩展性。同时根据系统负载，弹性管理多核资源，消除由传统I/O驱动方法的计算能力造成的I/O虚拟化资源的性能瓶颈。

主权项

一种针对网络I/O虚拟化的并行化可扩展数据处理方法，其特征在于，包括以下步骤：步骤1：将网络I/O虚拟化中数据包按照处理流程分解成多个子任务，形成一条数据处理的流水线；步骤2：一个线程处理一个子任务，以非对称流水线方式并行化协同工作；步骤3：每个线程将处理后的数据通过无锁环形缓冲区交给数据流水线的下一级线程进行处理；步骤4：使用内存巨页和内存映射建立共享内存池，在宿主机与客户机，客户机与客户机间建立快速零拷贝数据共享通道；步骤5：建立网络I/O数据处理吞吐量与每一步骤所需计算资源的关系模型，监控流水线中每个线程的资源使用情况，如果某个线程的数据处理计算量超过单核具备的计算能力时，则将负责该线程的逻辑核进行对称多线程并行化；步骤6：如果监控到系统负载较低，将数据处理流水线中的多个线程合并到一个逻辑核上运行。