| 发明名称 | 数据处理方法及装置 | ||
| 摘要 | 本发明实施例提供一种数据处理方法及装置，所述方法包括：获取输入数据，所述数据包括结构化数据、半结构化数据或者非结构化数据；若输入数据为结构化数据或半结构化数据，采用HDFS分布式文件系统进行存储并进行数据建模；若输入数据为非结构化数据，则采用mooseFS分布式文件系统进行存储。所述方法解决了在Hadoop中的HDFS无法很有效的处理大量的小文件和Hadoop的MapReduce处理小文件会产生极大的资源浪费问题。 | ||
| 申请公布号 | CN106294805A | 申请公布日期 | 2017.01.04 |
| 申请号 | CN201610671912.0 | 申请日期 | 2016.08.15 |
| 申请人 | 成都九鼎瑞信科技股份有限公司 | 发明人 | 李存昌;蒋松 |
| 分类号 | G06F17/30(2006.01)I | 主分类号 | G06F17/30(2006.01)I |
| 代理机构 | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人 | 马维丽 |
| 主权项 | 一种数据处理方法，其特征在于，所述方法包括：获取输入数据，所述数据包括结构化数据、半结构化数据或者非结构化数据；若输入数据为结构化数据或半结构化数据，采用HDFS分布式文件系统进行存储并进行数据建模；若输入数据为非结构化数据，则采用mooseFS分布式文件系统进行存储。 | ||
| 地址 | 610000 四川省成都市高新区府城大道西段399号5栋1单元13层9-12号 | ||