发明名称 | 用于处理HDFS中的文件存储的方法和系统 | ||
摘要 | 本发明公开了一种用于处理文件存储的方法和系统。该方法包括:接收一个文件存储请求;确定所请求存储的文件的文件大小;响应于确定所述文件为小文件,将所述文件存储请求发送给HBase,以便将所述文件存储到HBase中;响应于确定所述文件为大文件,将所述文件存储请求发送给HDFS,以便将所述文件存储到HDFS中,并将与所述文件相关联的信息保存在一个记录中。通过本发明的方法和系统,可以有效地解决HDFS在处理小文件时所遇到的问题。 | ||
申请公布号 | CN105205082A | 申请公布日期 | 2015.12.30 |
申请号 | CN201410302839.0 | 申请日期 | 2014.06.27 |
申请人 | 国际商业机器公司 | 发明人 | 庄威;刘亮;曲俊媚;尹文君;戈弋 |
分类号 | G06F17/30(2006.01)I | 主分类号 | G06F17/30(2006.01)I |
代理机构 | 北京市中咨律师事务所 11247 | 代理人 | 于静;张亚非 |
主权项 | 一种用于处理文件存储的方法,包括:接收一个文件存储请求;确定所请求存储的文件的文件大小;响应于确定所述文件为小文件,将所述文件存储请求发送给Hadoop数据库HBase,以便将所述文件存储到所述HBase中;以及响应于确定所述文件为大文件,将所述文件存储请求发送给Hadoop分布式文件系统HDFS,以便将所述文件存储到所述HDFS中,并将与所述文件相关联的信息保存在一个记录中。 | ||
地址 | 美国纽约 |