一种用于列车ATP的数据自动提取与存储系统及方法

摘要

本发明提供一种用于列车自动防护系统的数据自动提取与存储系统及方法，涉及列车防护系统技术领域。系统包括压缩数据文件自动解压模块、数据自动加载及故障数据自动导出模块、故障数据自动提取与存储模块和日志记录模块，方法为读取压缩数据文件并进行解压提取，存放于创建的独立文件夹，将解压后的记录数据文件逐一加载，定位故障数据点，将故障数据以CSV格式导出，分类插入数据库。本发明能快速高效地对列车ATP系统的大量TB级历史数据进行解压、加载定位、提取和存储，能极大地减少人为操作所带来的错误，缩短操作时间，提高操作效率，实现对故障数据的高效管理，方便用户对故障数据进行进一步的分析处理和挖掘。

主权项

一种用于列车ATP的数据自动提取与存储系统，其特征在于，该系统包括压缩数据文件自动解压模块(1)、数据自动加载及故障数据自动导出模块(2)、故障数据自动提取与存储模块(3)和日志记录模块(4)；所述压缩数据文件自动解压模块(1)用于对ATP记录的所有压缩数据文件进行自动解压；所述数据自动加载及故障数据自动导出模块(2)用于对所述压缩数据文件自动解压模块(1)解压后的数据文件进行加载，检测出其中的故障数据点，并导出故障数据；所述故障数据自动提取与存储模块(3)用于将所述数据自动加载及故障数据自动导出模块(2)中所导出的所有故障数据进行数据提取并保存到数据库；所述日志记录模块(4)用于记录系统运行过程中的日志信息；所述压缩数据文件自动解压模块(1)包括压缩文件检测子模块、文件夹创建子模块和压缩文件解压子模块；所述压缩文件检测子模块用于查找检测当前ATP系统记录的所有压缩数据文件；所述文件夹创建子模块用于为每一个压缩数据创建解压后存放的文件夹，所述文件夹的名称以所要解压的文件名称命名，并检测该文件夹是否存在，对已存在的文件夹重新进行命名创建；所述压缩文件解压子模块用于将所述压缩文件检测子模块检测到的压缩数据文件进行一一解压提取，并将解压后的数据文件存放于所述文件夹创建子模块创建的文件夹中；所述数据自动加载及故障数据自动导出模块(2)包括数据文件加载子模块、故障点自动检测定位子模块和故障数据自动加载导出子模块；所述数据文件加载子模块，用于自动检索所述压缩数据文件自动解压模块(1)解压出的数据文件，提取出ATP系统记录的每一个数据文件，驱动ATP厂商提供的数据解析工具对ATP系统记录的每一个数据文件进行自动加载，形成详细记录数据文件；所述故障点自动检测定位子模块，用于自动检索所述记录数据文件中是否存在故障数据点；所述故障数据自动加载导出子模块，用于驱动ATP厂商提供的数据解析工具自动定位每一个故障数据点，并将每一个故障数据点的详细内容导出为一个CSV(Comma‑Separated Values)格式文件；所述故障数据自动提取与存储模块(3)包括CSV文件读取子模块与CSV数据导入数据库子模块；所述CSV文件读取子模块用于依次加载CSV文件，读取CSV文件的每一行数据，并将读取的数据按照信息类别进行分类；所述CSV数据导入数据库子模块用于将所述分类后的数据批量插入到数据库中所对应的表格进行存储；所述日志记录模块(4)包括压缩数据文件自动解压日志记录子模块、数据自动加载及故障数据自动导出日志记录子模块和故障数据自动提取与存储日志记录子模块；所述压缩数据文件自动解压日志记录子模块用于记录在所述压缩数据文件自动解压模块(1)进行压缩数据文件的解压提取时，所提取的压缩数据文件信息、提取过程中出现的解压错误信息及重复的文件信息；所述数据自动加载及故障数据自动导出日志记录子模块用于记录在所述数据自动加载及故障数据自动导出模块(2)进行加载ATP系统记录数据文件时，所加载的ATP系统记录的每一个数据文件信息、形成的ATP系统所有详细记录数据文件的信息和出现加载错误的信息；所述故障数据自动提取与存储日志记录子模块用于记录在所述故障数据自动提取与存储模块(3)进行CSV文件数据读取时，系统所读取的CSV文件信息。