物联网大数据快速校验方法

摘要

本发明提供一种物联网大数据快速校验方法，包括大文件上传验证方法和大文件下载校验方法两个部分。大文件上传验证方法包括对大文件进行分割预处理、多线程验证块文件和关节节点、多线程上传、形成验证文件、验证文件上传等步骤。大文件下载校验方法包括下载验证文件、多线程并发下载块文件、多线程并发验证块文件的正确性、组合文件、校验文件组合的整体正确性等步骤。本发明用于物联网中形成的大数据文件的快速验证，有效解决了物联网大数据处理中的大文件验证速度瓶颈问题。

主权项

一种物联网大数据快速校验方法，其特征在于：包括大文件上传验证方法和大文件下载校验方法；所述大文件上传验证方法具体包括以下步骤：步骤101，客户端调用大文件存储API；步骤102，将大文件数据进行分割预处理，包括计算文件的大小，计算待分割的文件块数，每个块文件的数据偏移量，块文件接合处关节节点的节点数和节点偏移量，将大文件分割成多个块文件，每个块文件编有相应的序号；从而形成分割信息；步骤103，初始化块文件验证线程池，根据块文件数和关节节点数来启用对应数量的线程进行并发验证，对其中每个块文件和每个关节节点进行单独验证，得到每个块文件和每个关节节点的校验信息；步骤104，客户端与存储服务器集群的分布式文件系统建立连接，启用多线程将上述形成的多个块文件并发上传至分布式文件系统，并记录每一个块文件在分布式文件系统中的存储位置；步骤105，将上述大文件分割信息、每个块文件和每个关节节点的校验信息、每个块文件在分布式文件系统中的存储位置保存到结构化数据文件中，形成验证文件；步骤106，上传步骤105中形成的验证文件至服务器；所述大文件下载校验方法具体包括以下步骤：步骤201，客户端调用大文件下载API；步骤202，与存储服务器集群建立连接，根据需要下载的大文件名称与文件ID查找相对应的验证文件，并下载该验证文件；步骤203，根据需要下载的文件的大小在客户端磁盘中开辟相应的存储空间，用来存储大文件；步骤204，客户端根据验证文件中记录的每个块文件在分布式文件系统中的存储位置，启用多线程并发下载每一个块文件至客户端,并根据验证文件中每一个块文件的校验信息多线程并发验证块文件的正确性；步骤205，根据块文件的序号和块文件的数据偏移量组合文件并保存在客户端；步骤206，最后使用关节结点验证机制校验文件组合的整体正确性；客户端根据验证文件中记录的每个关节节点的校验信息多线程并发验证关节节点的正确性。