| 发明名称 | 基于内存映射的大数据文件快速并行提取方法 | ||
| 摘要 | 本发明公开了一种基于内存映射的大数据文件快速并行提取方法，包括：任务域生成，将任务块组成任务域，所述任务块为任务域中的元素；任务池生成，将所述任务域中的元素按低通信代价的原则进行子任务域归并，将所述任务域中的元素的集合作为任务调度的任务池，根据调度的选择来提取任务供处理器执行；任务调度，根据任务的剩余量决策任务的调度粒度，将符合要求的任务提取出所述任务池，并为映射做好准备；处理器映射，将所述提取出的任务映射到当前空闲处理器去执行。本发明能够发挥多核的优势，提高内存映射文件的效率，可以应用在单个文件在4GB以下容量的大文件读取中，能够有效提高这类文件的读取速度，提高磁盘文件I/O吞吐率。 | ||
| 申请公布号 | CN102231121A | 申请公布日期 | 2011.11.02 |
| 申请号 | CN201110209643.3 | 申请日期 | 2011.07.25 |
| 申请人 | 北方工业大学 | 发明人 | 马礼;李敬哲;杜春来;马东超 |
| 分类号 | G06F9/46(2006.01)I;G06F17/30(2006.01)I | 主分类号 | G06F9/46(2006.01)I |
| 代理机构 | 北京康盛知识产权代理有限公司 11331 | 代理人 | 张良 |
| 主权项 | 一种基于内存映射的大数据文件快速并行提取方法，包括：任务域生成；将任务块组成任务域，所述任务块为任务域中的元素；任务池生成；将所述任务域中的元素按低通信代价的原则进行子任务域归并，将所述任务域中的元素的集合作为任务调度的任务池，根据调度的选择来提取任务供处理器执行；任务调度；根据任务的剩余量决策任务的调度粒度，将符合要求的任务提取出所述任务池，并为映射做好准备；处理器映射；将所述提取出的任务映射到当前空闲处理器去执行。 | ||
| 地址 | 100041 北京市石景山区晋元庄路5号 | ||