一种弹性的云数据挖掘平台部署方法

摘要

本发明是一种弹性的云数据挖掘平台部署方法，可以自由部署一个或多个hadoop集群并且不影响物理机用户的正常使用，尤其适用于机器数量有限的中小型集群。在面对cpu，带宽，内存，磁盘以及时间的不同需求时，可以灵活进行资源分配。这里不仅仅是指hadoop内部各节点之间的负载均衡，还包括与普通用户正常使用需求之间的协调，是整个集群内的负载均衡。将hadoop和openstack结合并加以改进，利用虚拟化使得数据挖掘集群的部署更加简单灵活，并且同时给用户提供虚拟机作为日常使用，不会影响原有工作。

主权项

一种弹性的云数据挖掘平台部署方法，其特征在于，在不影响正常工作的前提下搭建一个既能提供日常使用又能提供数据挖掘功能的集群，其步骤主要如下：步骤1. 在整个物理机集群上建立一个可以提供各类虚拟机的虚拟化平台；步骤2. 为集群使用人员创建各自的账户并分配权限，给一般用户分配申请PC虚拟机和发布数据挖掘任务的权限，只能进入仅有使用功能的普通用户面板，给管理人员分配一般用户的所有权限以及管理整个集群的权限，能进入管理员面板进行各项管理；步骤3. 用户通过Web交互页面登陆平台，如果是管理员用户则执行步骤4，如果是一般用户则执行步骤5；步骤4. 进入管理员面板，具有以下功能：修改权限、监控、调度、节点迁移；完成管理操作后退出管理员面板，执行步骤5；步骤5. 进入仅有使用功能的普通用户面板，如果选择发布数据挖掘任务则执行步骤6，如果选择进行日常工作申请PC虚拟机则执行步骤8；步骤6. 用户上传需要处理的数据集及算法，选择所需的计算和存储资源，设定任务优先级，然后将任务发布到平台上并执行步骤7；                                                                              步骤7. 平台先启动一个主管理节点，然后将根据需求启动相应数目的子计算节点，并将这些节点在主管理节点上注册，随后该任务发送到主管理节点上，由该节点将任务分配到各个子计算节点上执行，任务发布完成之后，用户如需继续进行日常工作则执行步骤8，否则退出平台等待任务处理完毕；任务处理完成后，计算结果以及任务详细信息将会返回到平台内的发布任务的用户的用户面板上以供用户查询；步骤8. 由平台查询该用户是否有备份镜像快照，如果有则将该快照启动并恢复用户数据，如果没有则按照用户需求选择一个模板镜像启动，用户通过远程桌面连接该虚拟机进行日常使用。