基于S-PLUS的大数据平台的构建方法

摘要

本发明公开一种基于S-PLUS的大数据平台的构建方法，本发明体系架构自底向上分为四层：物理层、虚拟化层、服务层和应用层。物理层部署了异构的硬件资源；在虚拟化层，利用Eucalyptus 构建虚拟机群，在虚拟机集群上部署了Hadoop 环境；在服务层，集成了S-PLUS语言，实现数据挖掘功能并提供服务。在应用层，提供给用户清晰的操作界面，其功能包括：数据存储和处理系统、数组运算工具、完整连贯的统计分析工具、优秀的统计制图功能。S-PLUS软件是一种简便而强大的编程语言，可操纵数据的输入和输出，实现分支、循环，用户可自定义功能。本发明能有效处理智慧城市中信息系统服务、信息监管、公共安全等智慧城市系统需关注的目标，以大数据的方式进行展现并分析结果，处理效率高。

主权项

一种基于S‑PLUS的大数据平台的构建方法，其特征在于，包括如下几个步骤 ：步骤1：基础设施虚拟化；采用虚拟化技术将设施虚拟化，包括物理层的服务器虚拟化、存储虚拟化和网络虚拟化，形成虚拟化层；其中建立两个虚拟化池即计算虚拟化池和存储虚拟化池是最重要的两个部分；计算虚拟化池主要实现计算资源层面的虚拟化，其中又包括服务器虚拟化和应用中间件虚拟化；存储虚拟化池主要实现存储数据虚拟化，其中又包括存储硬件架构虚拟化和存储软件虚拟化；步骤2 ：虚拟机实例化；此流程大致分为以下几个步骤 ：（1） 选择虚拟机并定制化；（2） 保存定制化参数文件；（3） 选择部署的目标物理机服务器；（4） 拷贝虚拟机的相关文件；（5） 在目标机上启动部署后的虚拟机；步骤 3：开源云计算解决方案Eucalyptus的安装；使用Eucalyptus 作为基础，搭建虚拟机集群，用户可以快速方便地在现有的基础架构上创建私有的云计算平台，其安装过程主要包含以下几步：（1） 安装Linux操作系统（2） 配置Yum安装源；（3） 配置安装脚本；（4） 安装其他节点操作系统；（5） 搭建Cobbler服务；（6） PXE方式安装节点OS；（7） 配置安全策略、网桥、防火墙、NFS 共享；步骤4：服务层：部署S‑PLUS 环境，使得 S‑PLUS语言引擎能够运行在Hadoop 集群之上；配置动态链接库，使得实际的计算过程是通过在底层调用S‑PLUS 语言来实现的；步骤5：处理关系型数据库中的海量数据：结合 S‑PLUS 和 Hadoop 来实现对关系型数据库中大规模数据的操作：通过商业工具 S‑PLUS将大量待分析数据输出为文本数据文件，并将文本数据文件上传到 HDFS 中，然后转化为对文本数据集进行分布式处理；步骤6：流程化的操作方法：在应用层以 Web 界面的方式向用户服务层实现的各种功能；用户可以操纵数据的输入和输出，可实现分支、循环，并可自定义功能，功能包括但不限于城市管理、城市信息系统服务、城市监管、公共安全等智慧城市需关注的目标，设置内容包括：设置数据来源、选择分析方法、设置分析参数、数据挖掘与分析、得出分析结果并展示。