一种HTTP数据采集设备

摘要

本发明公开了一种HTTP数据采集设备，用于加装在业务服务器与业务终端之间的通讯线路上，该HTTP数据采集设备包括：数据采集及处理单元：用于将所述业务服务器与业务终端之间的通讯线路分成多个通讯子线路，并基于预先设置的采集配置工具和管控规则，对多个通讯子线路传送的通讯数据进行交换、监听和分析处理后，通过预先设置的数据传输途径，传送至数据接收服务器；数据接收服务器：用于接收所述数据采集及处理单元传送的数据接收服务器。本发明所述HTTP数据采集设备，可以克服现有技术中数据采集可靠性低、数据共享不方便和工作效率低等缺陷，以实现数据采集可靠性高、数据共享方便和工作效率高的优点。

主权项

一种HTTP数据采集设备，其特征在于，用于加装在业务服务器与业务终端之间的通讯线路上，该HTTP数据采集设备包括：数据采集及处理单元：用于将所述业务服务器与业务终端之间的通讯线路分成多个通讯子线路，并基于预先设置的采集配置工具和管控规则，对多个通讯子线路传送的通讯数据进行交换、监听和分析处理后，通过预先设置的数据传输途径，传送至数据接收服务器；数据接收服务器：用于接收所述数据采集及处理单元传送的数据；所述数据采集及处理单元，包括：数据交换器：用于负责多个相应通讯子线路之间的通讯数据交换，以及复制各通讯子线路的通讯数据并发送至HTTP监听器；HTTP监听器：用于捕获所述数据交换器发送来的通讯数据中的所有以太网数据包，提取HTTP数据并发送至数据分析器；数据分析器：按照预设的分析加工规则，对所述HTTP监听器发送来的HTTP数据进行分析加工，获取所需业务数据，打包并发送至数据传送器；数据传送器：用于经过预先设置的数据传输途径，将所述数据分析器发送的业务数据传输至数据接收服务器；所述数据采集及处理单元，还包括：采集配置工具：用于预先设置所述数据分析器的分析加工规则；所述HTTP监听器，具体包括：数据解码模块：用于接收自所述数据交换器的各数据端口传送来的通讯数据，进行解码；规则分析模块：用于判断所述数据解码模块解码后的相应通讯数据是否为HTTP数据包，若是，则将相应通讯数据进行规则分析；否则，抛弃接收到的通讯数据并中止处理；数据提取模块：用于在所述规则分析模块将相应通讯数据进行规则分析后，判断规则分析后的相应通讯数据对应的HTTP URL地址是否为已定义的采集地址，若是，则从相应通讯数据中提取HTTP数据，并发送至数据分析器；否则，抛弃解码所得HTTP数据包；所述数据分析器，具体包括：分析加工模块：用于按照预设的分析加工规则，对所述HTTP监听器传送过来的HTTP数据使用预定义的分析加工规则进行分析加工处理，形成所需业务数据；打包及发送模块：用于对所述分析加工模块形成的业务数据打包，将得到的业务数据包发送至数据传送器；所述预先设置所述数据分析器的分析加工规则的操作，具体包括下列一种或多种：设置需要采集的HTTP URL地址；采样得到所有发往该HTTP URL的包；选择需要采集的数据包；针对相应数据包使用脚本，定义相应的数据加工逻辑；定义发送到数据接收服务器的数据传输途径；保存所定义的配置信息。