用于快速且有效数据管理和/或处理的方法和系统

摘要

本发明提供用于数据管理与数据处理的系统与方法。举例而言，各种实施例可包括系统与方法，该系统与方法涉及以可比较的或更好的执行选择结果(例如，高数据冗余消除和/或平均块大小)选择的相对较大的数据组。在各种实施例中，系统与方法可包括(例如)数据组、区块或块组合技术和/或数据组、区块或块拆分技术。各种实施例可包括第一标准或典型数据分组、分区块或分块技术和/或数据组、区块或块组合技术和/或数据组、区块或块拆分技术。示范性系统与方法可涉及数据散列和/或数据消除。实施例可包括先行缓冲器且基于基础数据的特性和/或本发明的特定应用(例如，用于备份)来确定发出小块还是大块。

主权项

一种在利用存储装置的计算装置中实现的并且由利用存储装置的计算装置执行的数据管理的方法，该方法包括：使用第一数据分割程序与第二数据分割程序的组合将数据流断开成多个数据组，其中第一数据分割程序与第二数据分割程序的预期平均数据组大小不同；其中所述第二数据分割程序将两个或更多个小数据组组合在一起以作出更大平均大小的更大数据组；以及其中响应于确定至少两个其它小数据组是先前在数据流中出现的新的且非重复数据并且响应于确定顺序地邻近至少两个其它小数据组的数据组是先前在数据流中出现的重复数据，第二数据分割程序抑制将至少两个其它小数据组组合在一起，其中所述至少两个其它小数据组是在多个数据组中的连续数据组，并且其中响应于确定至少两个小数据组是先前在数据流中出现的新的且非重复数据，所述第二数据分割程序将所述至少两个小数据组组合成更大数据组。