发明名称 |
Hadoop文件系统数据自定义分块方法 |
摘要 |
提出了一种Hadoop文件系统数据自定义分块方法,包括:对输入数据进行排序;根据预先设置的数据分块参数,对排序后的输入数据进行分块,以得到数据块,其中对排序后的输入数据进行分块包括:将每个数据块在排序后的输入数据中的起始位置和终止位置记录在与每个数据块相对应的分块信息中;以及基于所述分块信息,从排序后的输入数据中读取相应的数据块,以进行并行处理。 |
申请公布号 |
CN106250380A |
申请公布日期 |
2016.12.21 |
申请号 |
CN201510320303.6 |
申请日期 |
2015.06.12 |
申请人 |
中国石油化工股份有限公司;中国石油化工股份有限公司石油物探技术研究院 |
发明人 |
亢永敢;赵改善;杨祥森;孙成龙;许自龙;段文超;杨文广 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京思创毕升专利事务所 11218 |
代理人 |
刘明华 |
主权项 |
一种Hadoop文件系统数据自定义分块方法,包括:对输入数据进行排序;根据预先设置的数据分块参数,对排序后的输入数据进行分块,以得到数据块,其中对排序后的输入数据进行分块包括:将每个数据块在排序后的输入数据中的起始位置和终止位置记录在与每个数据块相对应的分块信息中;以及基于所述分块信息,从排序后的输入数据中读取相应的数据块,以进行并行处理。 |
地址 |
100728 北京市朝阳区朝阳门北大街22号 |