面向海量web图像的分布式信息隐藏检测方法

摘要

本发明的面向海量web图像的分布式信息隐藏检测方法，包括：a).在云计算平台上搭建Hadoop运行环境；b).产生Nutch抓取队列；c).按照Hadoop的MapReduce架构，进行分布式网页抓取；d).对网页进行解析并提取出web网页中的图像；e).采用Hbase存储提取的web图像；f).图像的通用盲检测；g).筛选出BMP格式和JPEG格式的图像；h).BMP格式的图像检测；i).JPEG格式的图像检测。本发明的图像隐藏检测方法，采用开源技术Hadoop、Nutch等，易于设计及开发实现，检测效果较好；适用于目前网络环境下的海量图像提取及隐藏信息检测，对发现、跟踪利用公开的信道进行隐蔽通信的不法分子，对维护国家信息安全，具有重要的现实意义。

主权项

一种面向海量web图像的分布式信息隐藏检测方法，其特征在于，包括以下步骤：a).Hadoop环境搭建，在云计算平台中申请一定数目的计算节点，搭建出Hadoop的运行环境，以实现数据的并行处理；b).产生Nutch抓取队列，将初始种子网址放到抓取数据库中，用generate模块对抓取数据库中的网址进行过滤，产生要抓取的页面并将其放到抓取队列中；c).分布式网页抓取，按照Hadoop的MapReduce架构，将抓取队列中要抓取的网页分配给各个计算节点，利用爬虫Crawler访问这些链接并进行网页抓取；d).网页解析，对抓取完成的网页进行解析，产生一些新的链接与网页内容的解析结果；把新产生的链接更新到抓取数据库中，可进行下一轮抓取，重复步骤b)、c)、d)直至达到预先设定的抓取深度；同时解析并提取出web网页中的图像；e).web图像的存储，采用Hbase存储提取的web图像，以提高图像的检索和查询的速度；f).图像的通用盲检测，利用常用的图像信息隐藏检测算法，逐一检测web图像，判断web图像中是否存在隐藏信息；若某web图像被检测出含有隐藏信息，则认为其含有非法的秘密信息；否则执行步骤g)；g).格式筛选，从步骤f)中未检测到隐藏信息的web图像中，筛选出BMP格式和JPEG格式的图像；BMP格式的图像，按照步骤h)进行处理，JPEG格式的图像，按照步骤i)进行处理；h). BMP格式的图像检测，采用BMP格式图像的检测算法，判断图像中是否含有隐藏信息；i).JPEG格式的图像检测，采用JPEG格式图像的检测算法，判断图像中是否含有隐藏信息。