发明名称 用于处理HDFS中的文件存储的方法和系统
摘要 本发明公开了一种用于处理文件存储的方法和系统。该方法包括:接收一个文件存储请求;确定所请求存储的文件的文件大小;响应于确定所述文件为小文件,将所述文件存储请求发送给HBase,以便将所述文件存储到HBase中;响应于确定所述文件为大文件,将所述文件存储请求发送给HDFS,以便将所述文件存储到HDFS中,并将与所述文件相关联的信息保存在一个记录中。通过本发明的方法和系统,可以有效地解决HDFS在处理小文件时所遇到的问题。
申请公布号 CN105205082A 申请公布日期 2015.12.30
申请号 CN201410302839.0 申请日期 2014.06.27
申请人 国际商业机器公司 发明人 庄威;刘亮;曲俊媚;尹文君;戈弋
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京市中咨律师事务所 11247 代理人 于静;张亚非
主权项 一种用于处理文件存储的方法,包括:接收一个文件存储请求;确定所请求存储的文件的文件大小;响应于确定所述文件为小文件,将所述文件存储请求发送给Hadoop数据库HBase,以便将所述文件存储到所述HBase中;以及响应于确定所述文件为大文件,将所述文件存储请求发送给Hadoop分布式文件系统HDFS,以便将所述文件存储到所述HDFS中,并将与所述文件相关联的信息保存在一个记录中。
地址 美国纽约