基于吞吐量的文件并行传输方法

摘要

本发明公开了一种基于吞吐量的文件并行传输方法，包括提取文件大小、划分文件块的步骤，建立并行连接的步骤，比较文件块数量与并行连接数量的步骤，进行文件块并行传输的步骤，测量和计算吞吐量的步骤和根据吞吐量调整并行传输度的步骤。本发明的有益效果是：1、对于端到端的文件传输性能有显著的提高；2、具有较好的普适性，不局限于特定的网络环境、系统以及硬件环境，都能够应用本发明的方案提高网络的吞吐量；3、采用吞吐量来实时的调整并行度，以适应网络环境的变化，能够充分的利用网络带宽。

主权项

一种基于吞吐量的文件并行传输方法，其特征在于，包括步骤1：提取待传输文件的大小FileSize；设置大小为SegmentSize的文件块；将待传输文件划分为m个文件块，步骤2：建立n个连接；步骤3：如果m＜n，则使用m个连接并行传输m个文件块，直到所有文件块传输完毕；否则转步骤4；步骤4：从m个块中选取n个块，使用n个连接并行传输这些文件块，设为传输并行度n；设置每一个连接的连接标志为true；并行传输开始时启动计时，经过时长t后停止并重新计时，得到时间段k，k＝1,2,...,N；步骤5：测量和计算并行传输的吞吐量参数，包括501：测量每个连接传输的有效数据量：连接i在时间段k所传输的有效数据量为D(i,k)，i＝1,2,...,n；502：计算每个连接的吞吐量：连接i在时间段k的吞吐量为503：计算所有连接的总吞吐量：所有连接在时间段k的总吞吐量为504:计算平滑吞吐量：smooth_throughput(k+1)＝smooth_throughput(k)+α·all_throughput(k+1)，其中，α为平滑因子，smooth_throughput(1)＝all_throughput(1)；505：计算平滑后每个连接的平均吞吐量：其中，n(k)为时间段k的传输并行度；506：计算期望吞吐量：expect_throughput(k+1)＝smooth_throughput(k)+Dev(k)，其中，Dev(k)为时间段k的偏差变量，Dev(k+1)＝(1‑β)·Dev(k)+β·|smooth_throughput(k+1)‑all_throughput(k+1)|，其中，β为偏差变量的平滑因子，步骤6：根据吞吐量参数调整传输并行度，包括601：判断时间段k+1的总吞吐量是否大于时间段k的总吞吐量，如是则继续，否则将时间段k中吞吐量小于时间段k中平均吞吐量的那些连接的连接标志置为false，之后转步骤7；602：判断时间段k+1的平滑吞吐量是否大于该时间段的期望吞吐量，如是则新建n个连接来并行传输未传输的文件块，调整后传输并行度n'＝2n；如否则即新建一个连接来并行传输未传输的文件块，调整后传输并行度n'＝n+1；步骤7：当并行传输的任一个连接传输完一个文件块后，检测该连接的连接标志是否为true，如是则从m个块中选取一个未传输的文件块，使用该连接传输，否则撤销该连接；撤销一个连接后传输并行度n'＝n‑1；步骤8：重复步骤5至步骤7，直到所有的文件块传输完毕。