一种卫星遥感数据快速处理系统

摘要

一种卫星遥感数据快速处理系统，包括多台计算节点、InfiniBand交换机和存储阵列；所述的计算节点包括一个Master节点和多个slave节点，各个计算节点硬件配置相同且slave节点数可以自由扩展，每台计算节点上载有多核CPU和多个GPU板卡，且保证CPU核数为GPU板卡数量的2倍以上；所述的存储阵列中预先存放参数配置文件、待处理的条带数据；所述的InfiniBand交换机将计算节点和存储阵列连接在一起形成一个高速互联网络，构成快速处理的基础硬件设施。

主权项

一种卫星遥感数据快速处理系统，其特征在于：包括多个计算节点、InfiniBand交换机和存储阵列；所述的计算节点包括一个Master节点和多个slave节点，各个计算节点硬件配置相同且slave节点数能够自由扩展，每个计算节点上载有多核CPU和多个GPU板卡，且保证CPU核数为GPU板卡数量的2倍以上；所述的存储阵列中预先存放参数配置文件、待处理的条带数据；所述的InfiniBand交换机将计算节点和存储阵列连接在一起形成一个高速互联网络，构成快速处理的基础硬件设施；Master节点从存储阵列中读取参数配置文件，根据文件中的内容配置参与计算的节点、节点参与的进程数以及每个进程解析的数据行数，利用MPI协议调用配置的节点在CPU中进行并行条带数据解析，并将每个进程解析结果进行拼接，形成整轨辅助数据并存储在存储阵列中；Master节点利用上述整轨辅助数据进行WRS分景，形成分景文件存入存储阵列中；根据参数配置文件中的节点数和GPU板卡数，利用MPI协议调用各配置节点并行对每景数据进行标准景生产处理，保证每个GPU板卡分配到一景数据；所述的标准景生产包括一级产品生成和系统几何校正；所述的一级产品生成包括图像辐射处理流程和RPC参数求解，利用OpenMP实现图像辐射处理流程和RPC参数求解的线程并行处理；图像辐射处理流程按照处理顺序依次包括辐射校正、去噪处理、MTFC处理三个处理单元，均采用CUDA架构实现；RPC参数求解在CPU端进行，生成的RPC参数文件与图像辐射处理流程生成的图像文件构成一级产品，存储在存储阵列中；在一级产品生产完成后，采用CUDA架构在GPU中对图像辐射处理结果进行系统几何校正，得到最终的图像产品；对每景数据进行图像辐射处理流程时采用流水线循环方式进行，减少流程内各处理单元间之间的文件IO操作，具体如下：(1)将每景数据按参数配置文件中的每次处理影像的内存限制进行分块，按照分块顺序将第一块数据读入内存，并开辟相同大小的一块输出内存；(2)对内存里的数据进行基于CUDA架构的辐射校正处理，结果输出到输出内存，拷贝输出内存到输入内存，并将输出内存初始化，再依次进行基于CUDA架构的去噪处理、MTFC处理，MTFC处理后将结果数据从输出内存中写入输出文件中；(3)按照分块顺序将第二块数据读入内存，重复步骤(2)，直至最后一块数据处理完成。