发明名称 |
用于HDFS主节点的测试方法及装置 |
摘要 |
本发明提出一种用于HDFS主节点的测试方法及装置。该方法包括步骤:根据预定配置格式构造多个元数据文件;根据多个元数据文件生成主节点中的元数据镜像文件,元数据镜像文件中包括每个元数据文件所在的多个数据块的ID、数目及大小;根据多个数据块的ID、数目及大小,使用模拟器模拟HDFS的多个从节点并建立多个从节点与每个元数据文件所在的多个数据块之间的关系的映射表;建立映射表与主节点之间的线程;通过线程将多个从节点与每个元数据文件所在的多个数据块之间的关系传送给主节点中的元数据镜像文件;以及使用线程将对于第一文件的写操作通过修改映射表实现。根据本发明实施例的方法具有节省机器资源、测试速率高的优点。 |
申请公布号 |
CN103257970B |
申请公布日期 |
2016.06.15 |
申请号 |
CN201210037776.1 |
申请日期 |
2012.02.17 |
申请人 |
百度在线网络技术(北京)有限公司 |
发明人 |
潘瑾瑜 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京清亦华知识产权代理事务所(普通合伙) 11201 |
代理人 |
宋合成 |
主权项 |
一种用于HDFS主节点的测试方法,其特征在于,包括以下步骤:A.根据预定配置格式构造多个元数据文件;B.根据所述多个元数据文件生成所述主节点中的元数据镜像文件,所述元数据镜像文件中包括每个元数据文件所在的多个数据块的ID、数目及大小;C.根据每个元数据文件所在的多个数据块的ID、数目及大小,使用模拟器模拟HDFS的多个从节点并建立所述多个从节点与每个元数据文件所在的多个数据块之间的关系的映射表;D.建立所述映射表与所述主节点之间的线程;E.通过所述线程将所述多个从节点与每个元数据文件所在的多个数据块之间的关系传送给所述主节点中的所述元数据镜像文件;以及F.使用所述线程将对于第一数据文件的写操作通过修改所述映射表实现。 |
地址 |
100085 北京市海淀区上地十街10号百度大厦三层 |