文件接收方法和装置及文件传输系统

摘要

本发明属于网络文件传输技术领域，尤其涉及一种文件接收方法和装置及文件传输系统。本发明提出文件接收方法，包括以下步骤：当存在至少一个文件传输任务时，并发地从网络接收至少一个传输数据块；对接收的该传输数据块进行拆包，得到元信息和数据块；将该数据块加入到相对应的数据块链表中；对该数据块链表内的该数据块进行分组，得到至少一个数据块组；并在检测到该数据块组的字节长度超过预设的阈值时，将该数据块组中的数据块转移到片文件中。本发明提出的文件接收方法采用内存结合文件系统的两级缓存机制，实现在单节点宕机的情况下，保证已接收到的数据块不丢失；其他节点仍然能够继续数据块的接收任务。

主权项

一种文件接收方法，其特征在于，包括以下步骤：当存在至少一个文件传输任务时，并发地从网络接收至少一个传输数据块；所述至少一个传输数据块与至少一个所述文件传输任务相对应；每个所述文件传输任务与一个待传输文件相对应；对接收的所述传输数据块进行拆包，得到元信息和数据块；所述元信息包括用于对所述数据块进行校验的校验信息及用于指示所述数据块相对应的所述待传输文件的文件指示信息；所述数据块是预先将所述待传输文件切分后得到的；将根据所述元信息校验通过的所述数据块根据所述文件指示信息加入到相对应的数据块链表中；每个所述数据块链表与一个所述文件传输任务相对应；所述数据块链表是驻留在分布式内存集群中的内存中的；对所述数据块链表内的所述数据块进行分组，得到至少一个数据块组；每个所述数据块组是驻留在一片内存片中的；并在检测到所述数据块组的字节长度超过预设的阈值时，将所述数据块组中的数据块按照预设的文件格式转移到片文件中；所述片文件是保存在文件系统中的。