基于Hadoop大数据平台的卡口数据过边界实施方法

摘要

本发明涉及基于Hadoop大数据平台的卡口数据过边界实施方法，包括：视频网的卡口抓取服务器定时从交通卡口的Hadoop大数据平台中抓取过车信息数据，并将该数据存入业务前置机，业务前置机定时通过FTP协议从卡口抓取服务器中存储的URL到交通卡口服务器中下载过车图片；边界网关以轮询的方式与第一Oracle数据库交互，获取增量数据信息；边界网关将获得的过车信息数据以及过车图片写入公安网的业务服务器中；数据中心系统定时从业务服务器的第二Oracle数据库中抓取过车信息数据，同时从第二FTP图片库中获取过车图片。本发明利用多线程方式对数据信息读取、传输，处理效率较高；对过边界数据处理方式较灵活，可应用于不同系统对数据过边界处理；解决了海量数据过边界传输。

主权项

一种基于Hadoop大数据平台的卡口数据过边界实施方法，其特征在于该方法包括下列顺序的步骤：（1）视频网的卡口抓取服务器定时从前端交通卡口的Hadoop大数据平台中抓取过车信息数据，并将该数据存入业务前置机的第一Oracle数据库，业务前置机定时通过FTP协议从卡口抓取服务器中存储的过车图片地址URL到前端的交通卡口系统服务器中下载过车图片；（2）边界网关以轮询的方式与视频网的业务前置机的第一Oracle数据库交互，获取业务前置机的第一Oracle数据库的增量数据信息；（3）边界网关将获得的过车信息数据以及过车图片通过摆渡的方式同步至公安网的业务服务器中；（4）公安网的数据中心系统定时从业务服务器的第二Oracle数据库中抓取过车信息数据，同时从第二FTP图片库中获取过车图片。