在支持查询的同时高效地存储日志数据

摘要

一种日志记录系统包括事件接收器和存储管理器。接收器接收日志数据，对其进行处理并输出基于列的数据“块”。管理器接收并存储块。接收器包括存储事件的缓冲器和存储关于缓冲器的内容的元数据的元数据结构。每个缓冲器与特定的事件字段相关联并包括来自一个或多个事件的来自该字段的值。对于每个“感兴趣字段”而言，元数据包括反映缓冲器中的所有事件上的该字段的值范围的最小值和最大值。为每个缓冲器生成块，并且该块包括元数据结构和缓冲器内容的压缩版本。在查询事件数据时元数据结构充当搜索索引。该日志记录系统可以与安全信息/事件管理（SIEM）系统相结合地使用。

主权项

一种用于处理日志数据的方法，包括：接收包括多个事件的日志数据，其中事件包括一组字段，并且其中字段存储值；以及对于所述多个事件中的每个事件而言：将事件存储在一组缓冲器中，其中事件的每个字段与不同的缓冲器相关联；以及更新包括关于缓冲器的内容的信息的元数据结构，其中关于缓冲器的内容的信息包括反映存储在缓冲器中的所有事件的第一字段的最小值的第一最小值；其中将事件存储在该组缓冲器中包括将事件的每个字段值存储在与该字段相关联的缓冲器中。