一种用于key-value存储系统的trace序列的生成方法

摘要

本发明为一种用于key-value存储系统的trace序列的生成方法，涉及计算机网络、存储系统和程序设计领域。现有数据集多用作自然语言处理，特定领域的规律分析（比如气象），几乎没有用于研究存储系统性能的trace数据集。网络数据报与key-value存储系统的请求序列有相似的规律。本发明的trace生成方法，基于网络包的pcap格式trace文件，使用网络包中的5元组作为key的基础，根据包出现的顺序构造put、get序列。本发明的trace生成方法适用于key-value系统的性能测试。

主权项

一种用于key‑value存储系统的trace序列的生成方法，其特征在于基于网络trace生成key‑value存储系统的请求序列，具体为：第一步，解析pcap报文，生成request文件，包括：步骤1.1解析pcap报文，从pcap文件中读出一条pcap包之后，首先判断此包的长度，如果不满足网络层报文的长度则直接丢弃。如果满足，从IP报头读取源IP和目的IP，然后读取传输层协议类型，根据传输层协议（tcp或者udp）类型读取源端口和目的端口。这样就得到一个完整的5元组。对此5元组进行base64编码，将结果传递给分析函数（第1.2步实现）。之后进行下一个报文的分析。步骤1.2生成request文件，上一步获得的5元组作为key，首先要判断一个key是否出现过，这就要存储已经出现过的key。由于key的数目可能很多，不能仅仅使用内存来存放，因此本发明使用了一个key‑value存储系统来存放已经出现过的key，判断key是否出现过只需要进行一次get操作即可。如果key存在则输出（get，key）元组，否则输出（put，key）。第二步，根据request文件，构造需要的请求序列。需要构造的主要是value的长度。value长度变化较大，不同应用之间也有差别，可以根据均匀分布的随机序列构造各种分布的随机序列，如正态分布，指数分布。根据这些序列的结果设定value的长度，就能获得value长度满足不同分布的trace。