一种面向全球变化研究的空间科学数据自动汇聚方法

摘要

本发明公开了一种面向全球变化研究的空间科学数据自动汇聚方法，属于信息技术领域。本方法为：1)服务器定期对数据源进行访问，生成下载任务；2)根据当前下载任务，下载元数据文件并保存到服务器，对下载的文件进行质量检查、元数据项提取、计算和转换；3)将元数据文件路径、元数据项保存到元数据项数据库并建立索引；4)建立元数据文件、元数据项数据库数据、索引数据之间的映射关系，并提供一检索接口；5)服务器据查询条件查询是否存在所查询实体数据，若不存在则据数据预订申请生成实体数据下载任务进行下载，并对下载数据进行质量检查及元数据项更新。本方法可一站式地查询、获取分布在全球各地的海量全球变化空间科学数据资源。

主权项

一种面向全球变化研究的空间科学数据自动汇聚方法，其步骤为：1)选定数据源，服务器定期对所选数据源进行访问，生成下载列表和下载任务；其方法为：首先根据数据源的数据产品类型，生成该数据源元数据文件的可能有效id列表；然后验证可能有效id列表中每一id所标示的元数据文件是否存在，从而得到当前有效的元数据文件id列表；最后根据有效的id生成完整的元数据文件url，并根据元数据文件url生成所述下载列表和下载任务；2)服务器根据所述下载列表和下载任务，访问数据源数据服务器，进行数据下载并将其保存到服务器；3)服务器对下载的元数据文件进行质量检查，并对检查合格的元数据文件进行元数据项提取；其中，提取的所述元数据项包括：数据产生时间、实体数据文件所包含数据范围四个顶点的经纬度值、云量；对元数据文件进行所述质量检查包括：文件是否能打开，文件大小和下载前是否相同，元数据文件、图片文件、缩小的图片文件是否一一对应；4)将元数据项及元数据文件路径保存到元数据项数据库并建立数字索引；其中，所述数字索引的建立方法为：首先对提取的实体数据文件所包含数据范围四个顶点的经纬度值进行计算，确定最北点的纬度值、最南点的纬度值、最东点的经度值、最西点的经度值；然后将确定的四个顶点经纬度值转换为大于或等于0的数；最后根据转换后的顶点经纬度值建立所述数字索引；5)服务器通过元数据文件路径、元数据项数据库的数据id值、数字索引项中的数据id值，建立元数据文件、元数据项数据库数据、数字索引项数据之间一一对应的映射关系，并提供一检索接口；6)服务器根据输入的查询条件，查询服务器中是否存在所查询的实体数据，如果不存在则生成数据预订申请，并根据预订申请生成实体数据下载列表和下载任务；7)服务器根据所述实体数据下载列表和下载任务，访问数据源数据服务器，进行实体数据下载，并对下载实体数据进行质量检查、存储以及元数据项的更新。