大数据处理中的虚拟内存管理方法及其装置

摘要

大数据处理中的虚拟内存管理方法及其装置，属计算机系统优化技术领域，主要用于计算机大数据处理中一次实时处理数据量大于可用物理内存的情况。当内存分配达到指定临界值时，根据内存块访问关联综合指数，以及内存分配申请大小，寻找一块最合适的物理内存与磁盘虚拟内存置换。大小配对的内存分配方法把一个分配单元的前段分配给较大的内存需求者，后段分配给较小的内存需求者，通过该方法增加虚拟内存转换匹配度，减少数据移动量。本发明方法在大量100KB-10MB的内存分配，并且总量超过可用物理内存时，虚拟内存调度中的颠簸(Thrashing)现象很少，调度准确、有一定预见性，系统性能有明显提升。

主权项

一种大数据处理中的虚拟内存管理方法，其特征在于其中的虚拟内存调度管理至少包括： (1)、内存分配单元管理：基本处理和管理的内存操作以内存分配单元为单位，内存分配单元采用大小配对分配方法；大内存分配时，安排一个分配单元，分配单元大小mUnitSize＝申请大小RequestSize×125％；前段BigMem区分配大数据，后段LitMem区分配小数据；小内存分配时，优先在已安排的分配单元中找LitMem空闲区，若找到分配单元向后对齐，若未找到安排分配到小内存分配区； (2)、内存分配单元访问关联综合指数：反映内存分配单元优先调出到虚拟内存的指标，第n个分配单元访问关联综合指数：Xn＝(当前时间‑最后一次访问时间)×Fa×Fm/Fn²，其中时间单位是毫秒，Fa为内存分配单元平均访问频次，Fm为内存分配单元最大访问频次,Fn为第n个分配单元访问频次；当Xn>Xa时，第n个内存分配单元可以调出到虚拟内存，其中Xa为访问关联综合指数平均值； (3)、虚拟内存调度匹配置换： (a)虚拟内存调度仅调入或调出内存分配单元中较大的内存块，以减少调度执行次数； (b)内存分配单元中较小的内存块需要时在物理内存中移动，以少量的内存数据移动增加虚拟内存调度转换匹配率； (c)虚拟内存调度置换比较时,源和目标内存分配单元大小只要75％相近就属于匹配可转换对象；这样在大数据处理中很多数据大小相近的情况下，虚拟内存调度准确率高、效率高； (d)物理内存中能否调出通过访问关联综合指数来决定； (e)总是保持必要可用物理内存空间，称为最小周转备用区MinSpareMem，来保证虚拟内存调度过程不影响系统正常运行。